Amazon Web Services ブログ

7 日間 Amazon EFS 低頻度アクセスのユースケース

最近、Amazon EFS では 7 日間ファイルへのアクセスがなかった場合に、そのファイルを EFS 低頻度アクセスストレージクラス (EFS IA) へ移行するライフサイクル管理のための新ポリシーの提供開始を発表しました。ストレージブログを定期的にご覧になっている方は既にご存知かもしれませんが、多数のお客様が数ペタバイトに及ぶ大量のデータを EFS 上で、月額 0.08/GB* というコスト効率の良い価格で保存しています。この保存方法により、本サービスをご利用のお客様は、年間数百万ドルもの処理費用を節約しています。 *米国東部 (バージニア北部) リージョンの料金であり、EFS IA のストレージの 80% を想定しています。他のリージョンでの料金については、Amazon EFS の料金ページをご参照ください。 それでは、提供されているより長い期間の他のポリシーとは対照的に、この新しい 7 日間ポリシーを選択するのが推奨されるのはどのような場合でしょう? 最も明白な答えは、より短期間に、多くのお金を節約するためです。それ以外では、7 日間 EFS IA ポリシー (データベースバックアップと ETL) を使用する一般的なユースケースが 2 つあります。 データベースのバックアップ データベースアプリケーションではファイルシステムストレージとバックアップ/復元プロセスがファイルネイティブであることを想定しているため、EFS がデータベースのバックアップにいかに適しているかについての記事を投稿しました。EFS の提供するビルトインデータ保護と EFS の特徴と言える高可用性/高耐久性により、ユーザーは自分のバックアップが必要なときにいつでも取り出せるという安心を得ることができます。EFS IA では、ユーザーは実質的にコンソール上で 1 つのチェックボックスをオンにするだけで費用を節約できるため、DB バックアップのためのシンプルなコスト最適化策であると言えます。ユーザーはファイルシステムにそのままバックアップを保存することで、復元時間目標 (RTO) を短縮できます。言い換えれば、ストレージプラットフォーム間でファイルを移動するために時間や手間をかける必要がありません。万一のとき、また、バックアップからデータベースを復元する必要が生じたときには、復元コマンドを実行するだけです。EFS と EFS IA を使用することで、すべてのファイルが同じファイルシステムの名前空間に存在し、いつでもアクセスできるようになります。 新しい 7 […]

Read More

Amazon Forecast で 自由選択した分位数での予測作成のサポートを開始

Amazon Forecast で、自由に選択した分位数で予測を作成できるようになったことをお知らせいたします。 re:Invent 2018 で発表され、2019 年 8 月から一般公開されている Forecast は、機械学習 (ML) により、それまでの機械学習の経験を待つことなく、非常に正確な予測を作成できる完全マネージド型サービスです。Forecast は、製品需要の見積り、サプライチェーンの最適化、エネルギー需要の予測、財務計画、人事計画、クラウドインフラストラクチャ使用状況の算定、トラフィック需要の予測など、さまざまなユースケースに使用できます。 Forecast は、Amazon.com で使用されているものと同じ技術に基づいており、完全に管理されたサーバーですので、プロビジョニングするためのサーバーはありません。また、使用した分だけお支払いいただくようになっており、最低料金や前払い金を求められることはありません。Forecast を使用するために必要なことは、予測対象の履歴データをご提供いただくことだけです。オプションとして、予測に影響を与えると思われる追加データもご提供ください。後者には、価格、行事、天候など、時により変化するデータと、色、ジャンル、リージョンなどカテゴリに関するデータの、両方が含まれます。このサービスは、お手元のデータに基づいて機械学習モデルを自動的にトレーニングし、デプロイして、予測をダウンロードするためのカスタム API を提供します。 ポイント予測 (p50) を作成する他のほとんどの予測ソリューションと異なり、Forecast は、10% (10p)、50% (50p)、90% (90p) の 3 つのデフォルト分位数で確率的予測を作成します。ビジネスにおける資本コスト (過大予測) と顧客需要の不足 (過小予測) のトレードオフに応じて、ご自身のビジネスニースに合った予測を選択できます。10p 予測では、真正値は 10% 予測値よりも低いことが予想されます。投資資本のコストが高い場合 (例:製品在庫が過剰)、分位数 p10 の予測は、比較的少数の商品を注文するのに役立ちます。これと同様に、p90 予測では、真正値は 90% 予測値よりも低いことが予想されます。顧客需要が失われた結果、収益が大きく損なわれたり、カスタマーエクスペリエンスが低下したりした場合は、p90 予測がより役立ちます。詳細については予測精度の評価を参照してください。 Forecast でサポートされている既存の 3 つの分位数は便利ですが、2 つの制約があります。第一に、固定値である分位数は、特定のユースケースの要件に、常に合致するとは限りません。例えば、すべてのコストで顧客需要を満たすことが必須である場合は、p99 予測のほうが p90 より便利でしょう。 第二に、Forecast はデフォルトで常に 3 […]

Read More

AWS Single Sign-On の次の進化

 大規模なユーザー ID を効率的に管理するには、多くの組織が現在使用している複数の ID ソースをつなぐ新しいソリューションが必要です。お客様は、自社のアプリ、サードパーティのアプリ (SaaS)、および AWS クラウド環境全体で単一の ID およびアクセス戦略を確立したいと望んでいます。 本日、AWS Single Sign-Onの次の進化を発表いたします。これにより、Azure AD を使用している企業は、AWS Single Sign-On によって既存の ID ストアを活用できるようになります。さらに、Azure AD からのユーザー ID とグループの自動同期もサポートされています。これで、既存の Azure AD ID を使用して AWS 環境を構成する複数のアカウントとアプリケーションにサインインできるようになりました。追加のユーザー名とパスワードを覚える必要はなく、使い慣れたサインインの方法を使用できます。加えて、管理者は、すべての AWS アカウントとアプリへのアクセスを一元的に設定する便利さを確保しながら、Azure AD のユーザー ID の信頼できる唯一のソースの管理に集中することもできます。 既にユーザー ID に Azure AD を使用している企業の管理者であり、既存の ID を使用するユーザーに対して AWS 環境のシンプルで簡単な使用を可能にしたいと考えていると想像してみてください。AWS Single Sign-On で Azure AD のグループとユーザーメンバーシップの設定を手動で複製し、2 つの ID […]

Read More

AWS DeepRacer 最新情報 – 新しい機能と新しいレースの機会

 昨年の今頃、AWS DeepRacer について初めて書き、強化学習 (RL) の実践的な経験を得る機会であると説明しました。AWS チームの他のメンバーと同様に、皆さんも既存のスキルを常に向上させ、新しいスキルを構築する必要があると思います。 楽しく競争の激しい環境で経験と新しいスキルを身に付けることができるように、AWS DeepRacer レーシングカーと AWS DeepRacer リーグを開始しました。1 年以内に、何万人もの開発者が世界中でのハンズオンレースや仮想レースに参加しました。創造性と同様に、参加者の熱意とエネルギーは刺激的です。今月上旬、Jungyoul Ku が彼の DeepRacer ラップタイマーについて書いています (必ず、彼の動画とコードを確認しましょう)。AWS ML ヒーローである Lyndon Leggate の努力のおかげで、DeepRacer Slack コミュニティには、1,000 人以上のレーサーがいます。別の AWS コミュニティヒーローである Cyrus Wong は、AWS DeepRacer コミュニティブログを運営しています。 こうした熱意やエネルギーはすべて、パートナーや企業顧客にも広がっています。APN プレミアパートナーである Accenture は、世界 30 か所および 17 か国にまたがる世界最大のプライベート DeepRacer リーグの 1 つを作りました。DeepRacer が企業顧客の機械学習への関心を喚起し、複数の製品レベルの ML プロジェクトを開始するよう促したことがわかりました。 今日は、DeepRacer プログラムを成長させている 3 つの方法についてお話ししたいと考えています。AWS のイベントや独自のイベントで競争のチャンスを増やし、対面のマルチカーコンペティションを含む新しいレースで勝利のチャンスを増やします。新しいセンシング機能を備えたアップグレードされた DeepRacer […]

Read More
Weekly AWS

週刊AWS – 2019/11/25週

みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 今週も週刊AWSをお送りします。最近めっきり冷え込むようになってきましたね。いよいよ冬本番が近づいてきた感じがします。 前回は大きな発表多数で「特大号」でしたが、予想通りAWS re:Invent 2019直前という事もあって、今回も多くの発表がありました。AWS IoT dayと称してIoT関連のアップデートが多数発表されたりもしましたね。 そのため今回も特大号でお送りします!米国は11月28日(木)がサンクスギビングデーなので、月~水曜までの内容です。

Read More

re:Invent 2019に向けて 2019年11月後半アップデートのまとめ 第五弾

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング シニアエバンジェリストの亀田です。re:Invent 2019に向けて11月15日以降発表されたアップデートを、第一弾から第四弾までお届けしてまいりました。U.SがThanks Givingで休暇に入ったため、今回で最後です。急に静かになりましたね。re:Invent 2019へ向けて最後の充電です。今回は11月27日から11月28日(米国時間基準)分をお届けします。このブログシリーズでは11月15日からのアップデートを纏めてきましたが、それ以前のAWSのアップデートをお知りになりたい方は、ソリューションアーキテクトが別途纏めている「週刊AWS」を合わせてご覧ください。毎週のアップデートから厳選されたものをピックアップしてまとめをお届けしています。 11月27日 Amazon CloudWatch Contributor Insights for Amazon DynamoDBがプレビューリリースされました DynamoDBテーブルのトラフィックの傾向を一目で確認できる新しい診断ツールです。最も頻繁にアクセスされるキーを特定するのに役立ち、テーブルのアイテムアクセスパターンを継続的に監視でき、アクティビティのグラフと視覚化が提供されます。 AWS Single Sign-onが新しくなりAzure ADユーザーのAWSアクセスを一元管理できるようになりました Azure Active Directoryを一度AWSシングルサインオン(SSO)に接続し、AWSへのアクセス許可を一元管理することができるようになり、ユーザーがAzure ADを使用してサインインして割り当てられたAWSアカウントとアプリケーションにアクセスできるようになりました。AWS SSOを使用すると、ロールまたはプロジェクトに合わせて柔軟なアクセス許可を作成し、すべてのAWS Organization管理アカウントでユーザーとグループのアクセスを一元的に割り当てることができます。個々のアカウントで追加のセットアップを必要とせずに、アカウントのすべてのアクセス許可を自動的に集中的に構成および維持します。この新しいリリースでは、SAML(Security Assertion Markup Language)2.0標準を使用してAzure ADを接続し、AWS SSOを使用してAWSアカウントへのアクセスを一元管理し、ユーザーはOffice 365サインインエクスペリエンスでサインインすることができます。 Amazon Redshiftがマテリアライズドビューをプレビューリリースしました マテリアライズドビューにより、ダッシュボード、ビジネスインテリジェンス(BI)ツールからのクエリ、ELT(抽出、ロード、変換)データ処理など、繰り返し予測可能な分析ワークロードのクエリパフォーマンスを大幅に高速化することができます。クエリの計算された結果を保存し、ソーステーブルに加えられた最新の変更をインクリメンタルに処理することでマテリアアライズドビューは効率的に維持できます。マテリアライズドビューを参照する後続のクエリは、その結果を使用して、はるかに高速に実行されるようになります。マテリアライズドビューは、フィルター、プロジェクション、内部結合、集計、グループ化、関数、その他のSQL構造を使用して、1つ以上のソーステーブルに基づいて作成できます。 – シニアエバンジェリスト 亀田

Read More

AWS IoT Device Management フリートインデックスを使用してデバイスの集約情報を取得する

AWS IoT Device Management のフリートインデックスは、機器の集約情報を取得するために、GetStatistics、 GetPercentiles、GetCardinality の3つのAPIを提供開始しました。これらのAPIを使用すると、次のような質問にすばやく回答できます。AWSIoTに接続しているデバイスの割合はどのくらいですか?デバイスのバッテリーレベルの最大値、最小値、平均値はいくつですか?OSバージョンは現在何種類ありますか? この投稿では、データセンターの温度監視シミュレーションについて説明し、フリートインデックス APIを使用してデバイスの集約情報を取得する方法を理解します。データセンターには、サーバーの温度を監視する多くのセンサーがあります。GetStatistics によって最小/最大/平均温度を取得する方法を学習します。GetPercentiles を使って温度の90パーセンタイルを取得します。また、GetCardinality を使って異常な温度のサーバーラックの数を取得します。

Read More

Kinesis と DynamoDB をイベントソースにする際の AWS Lambda の新しいスケーリング管理

AWS Lambda は、Amazon Kinesis Data Streams と Amazon DynamoDB ストリームのイベントソースで利用可能な、新しいスケーリングパラメータを導入しました。Parallelization Factor は、各シャードにおける Lambda 関数呼び出しの同時実行数を増やす設定を可能にします。このパラメータは、デフォルトでは 1 です。これによって、処理されるレコードの順序を保証しながら、シャード数を過大にスケールすることなく、より高速なストリーム処理が可能になります。

Read More

SAP on AWSと組み合わせたデータレイクの構築

データはユビキタスであり、企業内で指数関数的に生成されています。ただし、このデータの大半はダークデータです。ガートナー用語集では、ダークデータを、組織が日常のビジネス活動において収集、処理、保存する情報資産として定義しています。しかし、それらは一般に他の目的に使用できません。他の目的には、分析、ビジネス関係、直接収益化などがあります。 Thermo Fisherなど、私たちのお客様の中には、既に企業全体で生成されたデータを利用して、AWS上でスケーラブルかつセキュアなデータプラットフォームを構築しています。それらのデータには、医療機器や様々なソフトウェアアプリケーションが含まれます。このデータプラットフォームは、医学研究者や科学者が患者の治療を研究し、協力し、改善するのに役立っています。詳細は、Thermo Fisherのケーススタディを参照してください。 SAP on AWSのケーススタディで明らかなように、数千のお客様がビジネスクリティカルなSAPワークロードをAWS上で実行し、ビジネスにおける多大なメリットを享受しています。SAPワークロードをAWSに移行するビジネスケースは明瞭に説明されていますが、多くのお客様は、データと分析のプラットフォームを活用した変革に関する強力なビジネスケースを構築することも検討しています。私たちは、SAPデータと非SAPアプリケーションデータを一緒に活用する方法を検討していることをお客様から直接聞いています。お客様は、AWS上でデータと分析のプラットフォームを構築するために、インターネット接続可能なデバイスで生成されたリアルタイムストリーミングデータを必要としています。 この記事では、SAPアプリケーションでサポートされる様々なデータ抽出パターンについて説明します。また、AWSサービスとその他のサードパーティソリューションを使用してSAPからAWS上のデータレイクにデータを抽出するためのリファレンスアーキテクチャについても説明します。

Read More

Amazon Athenaの新しいフェデレーテッド・クエリによる複数データソースの検索

現在、企業は構築するアプリケーションに最適にフィットした複数のデータストアを利用しています。例えば、ソーシャルネットワークアプリケーションを構築するような場合は、リレーショナルデータベースよりは Amazon Neptune のようなグラフデータベースの方が多くのケースで最適です。同様に頻繁な反復処理(fast iterations)のために柔軟なスキーマが求められるワークロードには、 Amazon DocumentDB (with MongoDB compatibility) がより適しているでしょう。Amazon.com のCTO/VPである Werner Vogels が述べているように、「複数の明確に異なる要件を満たすことが出来る単一のデータベースは存在しない (Seldom can one database fit the needs of multiple distinct use cases.)」ということです。よって開発者は多数の目的別に構築された(purpose-built)データベースを利用しながら、非常に多くの分散されたアプリケーションを構築しています。そういう意味では、今日の開発者はアプリケーションが最適になるように、ワークロードに最適なツールを選択できるように、複雑なアプリケーションをより小さい塊(ピース)に分割しています。しかし、データストアとアプリケーションの数が増えてくると、複数のデータソースをまたぐ分析処理というのはより難しくなってきています。 本日、Amazon Athena でサポートするフェデレーテッド・クエリについて発表することを嬉しく思います。 Amazon Athena のフェデレーテッド・クエリ フェデレーテッド・クエリは、データアナリスト、エンジニア、データサイエンティストに対して、リレーショナルデータベース、非リレーショナルデータベース、オブジェクトデータ、カスタムデータソースに保存されているデータをまたがるSQLを実行することが可能な Amazon Athenaの新機能です。Athena のフェデレーテッド・クエリによって、お客様は単一のSQLクエリの発行でオンプレミスやクラウド上で稼働する複数のデータソースに対してデータ分析することが可能です。Athena は、AWS Lambda で実行するデータソースコネクタ(Data Source Connectors)を利用してフェデレーテッド・クエリを実行します。AWSは、Amazon DynamoDB, Apache HBase, Amazon DocumentDB, Amazon Redshift, Amazon CloudWatch Logs, Amazon CloudWatch Metrics, […]

Read More