Amazon Web Services ブログ

 お客様は、Amazon S3 に保存されたペタバイト規模のデータへの SQL ベースのアクセスを提供するために Amazon EMR で Apache Hive を使用します。Amazon EMR 6.0.0 には Hive LLAP のサポートが追加され、EMR 5.29 よりも 2 倍速い平均パフォーマンスに加えて、個々の Hive TPC-DS クエリでも最大 10 倍の向上を実現します。この記事では、Hive LLAP を有効化する方法を紹介し、TPC-DS ベンチマークからのクエリを使用して観測したパフォーマンス向上について説明します。 Amazon EMR 5.29.0 と比べて速度が 2 倍に Amazon EMR のリリース 6.0.0 で Hive を実行するパフォーマンスメリットを評価するために、6 ノードの c4.8xlarge EMR クラスターで 3 TB の Apache Parquet データセットに 70 個の […]

 マルチプレイヤーゲームのパブリッシャーは、オンラインゲームを起動または維持するときに、リソースを過剰にプロビジョニングするか、手動でコンピューティング割り当てを管理して、プレイヤーの待機時間を短くする必要があることがよくあります。コンピューティング割り当てのモニタリングと制御に役立つツールを開発、設定、デプロイする必要があります。この記事では、プレイヤーが待機する時間とオーバープロビジョニングを計算する時間の両方を簡単に短縮できる新しい機械学習 (ML) ベースのツールである GameServer Autopilot について説明します。GameServer Autopilot は、手動設定の決定を排除し、人為的エラーが発生する機会を減らします。 GameServer Autopilot の初期バージョンでは、線形回帰を使用して必要なコンピューティング能力を推定していました。詳細については、YouTube で機械学習によるゲームサーバーの自動スケーリングをご覧ください。予測があっても、Amazon EC2 インスタンスの準備にはかなりの時間がかかるため、コンピューティングリソースの割り当てを最適化することは簡単ではありません。割り当てアルゴリズムは、EC2 インスタンスをスピンアップしてゲームアセットをインストールするために必要な時間を考慮する必要があります。絶えず変化する使用パターンには、新しいプレイヤーの習慣に適応するモデルが必要です。システムは、需要の変化に合わせてスケールアップおよびスケールダウンする必要があります。 この記事では、Amazon SageMaker 強化学習を使用して、Amazon EKS、Amazon DynamoDB、AWS Lambda 関数、および Amazon API Gatewayで強化学習 (RL) を適用する方法を説明します。さらに、プレイヤーの使用パターンに応じてリソースを割り当てることを学習する ML システムについて説明します。ホストされているモデルは、プレイヤーの待機時間を短縮するために初期化する必要のあるゲームサーバーインスタンスの数を直接予測します。トレーニングプロセスはゲームエコシステムと統合され、必要な設定は最小限で、それを他のコンピューティングリソース割り当てシナリオに拡張できます。 コンピューティングの割り当て マルチプレイヤーゲームのアーキテクチャには、ゲームサーバー向けのコンピューティングホスティングと、場所とスキルに基づいてプレイヤーをゲームセッションにマッチングするマッチメイキングシステムが含まれます。プレイヤーは仮想ゲームロビーで対戦を待ちます。現在のマルチプレイヤーゲームシステムでは、さまざまなレベルのプレイヤーの数と、マッチメイキングのようなシステムが、ゲームサーバーの需要を左右します。EKS はホスティングプラットフォームを管理します。ホスティングプラットフォームは、マッチメイキングシステムからリクエストを受信すると、ゲームサーバージョブを事後的にスケジュールします。ゲームサーバーは、利用可能な EC2 インスタンスに垂直に格納されます。EKS クラスターオートスケーラーは、現在の EC2 インスタンスがゲームサーバーで満たされると、新しい EC2 インスタンスをスピンアップします。次の図は、典型的な専用ゲームサーバーファームとアーキテクチャを示しています。これは、プレイヤー、マッチメイキング、およびゲームロビーアプリケーションと、EKS がホストする専用ゲームサーバーとのやり取りを示しています。 自動スケーリングの課題 時間的なピークに備えて過剰にプロビジョニングする必要がある静的な割り当てよりも、反応的な割り当ての方が適しています。Amazon EC2 Auto Scaling グループには、自動スケーリングと自動管理のための論理グループとして扱われる EC2 インスタンスのコレクションが含まれています。この反応的アプローチには、Auto Scaling グループのルールベースの動的スケーリングポリシーが含まれます。たとえば、既存のインスタンスの CPU 使用率が 60% を超えたときに […]

AWS DeepComposer は、機械学習を始めるための独創的な方法で、AWS re:Invent 2019 のプレビューでローンチされました。本日、すべての AWS ユーザーが DeepComposer を利用できるようになり、新しい機能で拡張されたことをお知らせできることを大変嬉しく思います。 AWS DeepComposer 入門 AWS DeepComposer を初めて使用する場合は、以下の手順に従ってください。 AWS DeepComposer コンソールにログインします。 このサービスと、生成 AI の使用方法について学びます。 コンソールの仮想キーボード、または Amazon.com で注文可能な物理キーボードのいずれかを使用して、短い楽曲を録音します。 お気に入りのジャンルの事前トレーニング済みモデルを選択します。 このモデルを使用して、曲に基づいて新しいポリフォニックコンポジションを生成します。 コンソールでコンポジションを再生し、 コンポジションをエクスポートするか、SoundCloud で共有します。 次に、生成 AI をさらに簡単に使用開始できるようにする新機能を見てみましょう。 ラーニングカプセル DeepComposer は、既存のデータセットから新しいサンプルを生成するために特別に構築されたニューラルネットワークアーキテクチャである Generative Adversarial Networks (別名 GAN、研究論文) を利用しています。GAN は、2 つの異なるニューラルネットワークを互いに対比させて、サンプル入力に基づいてオリジナルのデジタル作品を生成します。DeepComposer では、GAN モデルをトレーニングおよび最適化して、オリジナルの音楽を作成できます。 これまで、GAN のスキルの向上に関心のある開発者は、簡単に始める方法がありませんでした。ML や音楽のバックグラウンドに関係なくそういった開発者を支援するために、AWS は主要な概念を紹介する簡単な学習カプセルのコレクションと、GAN のトレーニングと評価の方法を構築しています。これには、ハンズオンラボと、GAN モデルを構築するためのステップバイステップの説明とコードが含まれます。 GAN に慣れたら、独自のモデルのトレーニングに進む準備が整います。 コンソール内トレーニング […]

 機械学習 (ML) のプラクティショナーは、データの収集、アルゴリズムの設計、実験の実行を行い、結果を評価します。機械学習モデルを作成した後は、費用対効果の高いスケールで予測を提供するといった別の問題に直面します。 サーバーレステクノロジーを使用すると、基盤となるインフラストラクチャの管理方法を気にすることなく、モデル予測を提供できます。AWS Lambda などのサービスは、コードの実行時間に対してのみ請求されるため、大幅なコスト削減が可能になります。レイテンシーとメモリの要件に応じて、機械学習モデルを簡単にデプロイするには AWS Lambda が最適です。この記事では、機械学習モデルをサーバーレス API としてエンドユーザーに簡単に公開する方法の例を示します。 このブログ記事について 読む時間 5 分 完了するまでの時間 15 分 完了するためのコスト 無料利用枠または 1 USD 未満 (公開時刻) 学習レベル 中級 (200) 前提条件 このソリューションを実装するには、次のサービスにアクセスできる AWS アカウントが必要です。 Amazon API Gateway AWS CloudFormation Amazon CloudFront AWS CodeBuild AWS Lambda Amazon S3 ソリューションの概要 次の図は、このソリューションのアーキテクチャを示しています。   このソリューションは次のサービスを採用しています。 AWS Lambda – サーバーのプロビジョニングや管理を行わずに、機械学習推論コードを実行できます。実行時間のみに対してお支払いいただきます。Lambda 関数はディープラーニングモデルを読み込み、画像内のオブジェクトを検出します。Lambda レイヤーには、複数の関数にわたってインポートできるパッケージ化されたコードが含まれています。 […]

先日 (2020/03/31) 開催しました AWS Black Belt Online Seminar「AWS Elemental MediaConvert」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200331 AWS Black Belt Online Seminar AWS Elemental MediaConvert AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. トランスコードにおいて Amazon Elastic Transcoder との使い分けというか立ち位置はどう捉えたらいいでしょうか？Elemental のチェーンを利用するか、単体でトランスコードするかでしょうか？ A. Elastic Transcoder の機能は一部（※）を除き、MediaConvert でもサポートしています。機能追加も MediaConvert 中心ですので、新規もしくは既存でも下記以外のケースでは MediaConvert の利用をご検討ください。 ※現時点で Elastic Transcoder でのみ利用可能な機能： WebM (VP8, VP9) での出力（MediaConvert への入力は可能） アニメーションGIFの出力 FLAC、Vorbis、WAV オーディオのみ の出力 こちらの Blog もあわせてご確認ください。 […]

先日 (2020/03/25) 開催しました AWS Black Belt Online Seminar「AWSにおけるマイクロサービスアーキテクチャの設計パターン」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200325 AWS Black Belt Online Seminar AWSにおけるマイクロサービスアーキテクチャの設計パターン AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. Amazon API Gateway は複数のバックエンドを統合する機能は持たないと思います。その意味で BFF パターンの実装に位置付けるには機能不足ではないでしょうか？（AppSyncの方が近いのでは？） A. 仰る通りAmazon API Gateway 単体ではREST APIを公開する機能の提供になりますが、AWS Lambda と組み合わせることで統合する機能を提供することが可能となります。 Q. 集約ログパターンで表示されている構成ですと、すべてデータが受け取れるようなイメージですが、取得できないものが発生しますでしょうか？ A. どのようなログデータを取得するかにも依存すると思いますが、アプリケーションログの観点から見ると、Amazon EC2 上で動作するアプリケーション、Amazon ECS/EKS 上のコンテナで動作するアプリケーション、AWS Lambda ファンクションなど様々なアプリケーションから Amazon CloudWatch Logs へログを送信することが可能です。但し Amazon CloudWatch Logs には クォータがありますのでご注意ください。Amazon CloudWatch Logs […]

先日 (2020/03/24) 開催しました AWS Black Belt Online Seminar「AWS WAFアップデート」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200324 AWS Black Belt Online Seminar AWS WAFアップデート AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. AWS Managed rules for AWS WAF は AWS WAF Classic でも利用できますか？ A. AWS Managed rules for AWS WAF は、AWS WAF Classic では利用できません。 Q. Amazon API Gateway に最適化された Managed ルールはありますか？ A. パートナーManagedルールに、Amazon API Gateway […]

 Amazon Forecast は、機械学習 (ML) により、それまでの機械学習経験を待つことなく、非常に正確な予測を生成できる完全マネージド型サービスです。Forecast は、エネルギー需要の予測、製品需要の見積り、人事計画、クラウドインフラストラクチャの使用状況の算定など、さまざまなユースケースに使用できます。 Forecast では、プロビジョニングするサーバーや手動で構築する機械学習モデルはありません。また、使用した分だけお支払いいただくようになっており、最低料金や前払い料金を求められることはありません。Forecast を使用するために必要なことは、予測対象の履歴データをご提供いただくことだけです。オプションとして、予測に影響を与えると思われる追加データもご提供ください。この関連データには、価格、行事、天候など、時により変化するデータと、色、ジャンル、リージョンなどカテゴリに関するデータの、両方が含まれます。このサービスでは、お手元のデータに基づいて機械学習モデルを自動的にトレーニングし、デプロイして、予測を取得するためのカスタム API を提供します。 電力会社と公益事業会社にはいくつかの予測ユースケースがありますが、中でも主なものは、顧客レベルと集計レベルの両方でエネルギー消費量を予測することです。エネルギー消費を正確に予測することにより、顧客がサービスを中断せず、低価格で安定したグリッドシステムを提供することができます。 この記事では、Forecast を使用して、過去の時系列データを気象などの重要な外生変数と組み合わせることにより、このユースケースに対処する方法について説明します。 ユースケースの背景 電力会社が日常業務を効率的に行うには、正確なエネルギー予測が不可欠です。需要は動的であり、季節による気象変化が影響を与える可能性があるため、エネルギー予測は特に困難です。最も一般的な 2 つのユースケースを次に示します。 消費者レベルでの電力消費量予測 – 多くの国では、電力は競争の激しい小売市場によって提供されています。消費者には電気を購入するという選択肢があり、高額の電気代を受け取るプロバイダーや、顧客体験が悪いプロバイダーを切り替えることができます。公益事業会社は、顧客サービスを改善し、将来の支出アラートを積極的に利用することで、顧客のチャーンを減らすことができます。これらのアラートは、個々の顧客レベルでの電力消費を正確に予測することに基づいています。 需要と供給をより適切に管理するための総消費電力予測 – 電力会社として、総需要と総需要のバランスをとる必要があります。ピーク需要を満たすためにエネルギーを購入したり、スポットマーケットで余剰容量を販売したりすることがよくあります。さらに、需要予測は次のような課題に直面しています。 風力や太陽光などの再生可能エネルギー資源の導入。これらは電力会社と最終消費者の両方が所有しており、天候の変化による影響を受けやすく、常に安定した電力を生成するわけではありません。 電気自動車の購入が増え、自動車の所有者が自宅で電気自動車を充電したいという未知の性質。予測の改善により、より費用対効果の高い先物契約を構築するための事前計画が可能になります。 この記事では、消費者レベルで、最初のユースケースのソリューションに焦点を当てています。 最初の手順では、データをセットアップして準備します。データレイクは、ユーティリティにとって革新的であることが証明されています。データウェアハウスは、既に特定の目的で処理された構造化およびフィルター済みデータのリポジトリです。対照的に、データレイクは、必要になるまでネイティブ形式で膨大な量の未加工データを保持するストレージリポジトリです。これは、何百万もの顧客からのメーターの読み取り値を収集、保存、処理する電力会社や公益事業会社にとって非常に価値があります。 ソリューションのアーキテクチャ 次の図は、顧客に請求アラートを表示するために実装できるソリューションのアーキテクチャを示しています。 アーキテクチャには次の手順が含まれます。 住宅の公益事業メーターは、通常、エネルギーを 1 時間に 1 回以上記録し、少なくとも毎日、電力会社に報告します。 さまざまなチャネルを介してデータの取り込みを実装できます。オンプレミスのデータセンターでデータを収集する場合、AWS Direct Connect を介して AWS にデータを送信できます。メーターに IoT 機能がある場合、MQTT トピックを介してデータを AWS IoT Core に送信できます。MQTT は、マシンツーマシン (M2M)/IoT 接続プロトコルです。軽量のパブリッシュおよびサブスクライブメッセージングトランスポートとして設計されました。これは、小さなコードフットプリントを必要とする、またはネットワーク帯域幅が貴重なリモートロケーションでの接続に役立ちます。 Amazon S3 […]

このブログ記事では、AWS DeepLens を使用してゴミ選別機の試作品を構築する方法を示します。これは、開発者が機械学習を楽しく実践的に学習するために設計された AWS のディープラーニング対応ビデオカメラです。このゴミ選別機の試作品を構築するプロジェクトから、カスタムデータを使用して画像分類モデルをトレーニングする方法が学べます。 画像分類は強力な機械学習手法であり、機械学習モデルは、多くの例を観察することにより、画像内のさまざまなオブジェクトを区別する方法を学習します。このブログ記事でご紹介する手法を活用して、画像に基づいてオブジェクトを異なる箱に分類すること (果物をサイズやグレードで分類するなど) や、画像内のオブジェクトの存在を検出すること (セルフチェックアウト時にオブジェクトのタイプを認識するなど) が求められる問題を解決できます。 このチュートリアルは、AWS Public Sector Builders Fair のために立ち上げられたスマートリサイクルアームプロジェクトに触発されました。詳細については、「Demonstration: Automatic Recycling」を YouTube でご覧ください。   ソリューションの概要 このチュートリアルには、次の手順が含まれます。 ML アルゴリズムにフィードするデータセットを収集して準備する ML モデルをすばやく構築、トレーニング、デプロイする機能を提供するフルマネージドサービスである Amazon SageMaker でモデルをトレーニングする AWS DeepLens でローカルにモデルを実行して、データをクラウドに送信せずにゴミの種類を予測する オプションで、AWS DeepLens が予測を行った後、AWS IoT Greengrass を介して Raspberry Pi にメッセージを送信するように AWS DeepLens を設定し、アイテムをどのゴミ箱に投げ込むかを見ることができます。 以下の図は、このソリューションのアーキテクチャを示しています。 前提条件 このチュートリアルを完了するには、次の前提条件が必要です。 AWS アカウント AWS DeepLens デバイス。Amazon.com (米国)、Amazon.ca (カナダ)、Amazon.co.jp […]

この記事は、Dashbot の共同創設者兼 CEO である Arte Merritt 氏と共同執筆しました。同社の説明によれば、「Dashbot は、Chatbot と音声スキルのための分析プラットフォームであり、企業は実用的な洞察とツールを通じてエンゲージメント、満足度、および変換を向上させることができます」 ボットをデプロイした後、ボットの相互作用を分析し、この分析から学んで、これらの学びを使用してエンドユーザー体験を向上させることができます。会話型インターフェイスは、ウェブサイトやモバイルアプリケーションよりも簡単に分析を行えます。ページビューをつなぎ合わせてイベントを選択することにより、ユーザーが何を望んでいるかを推測する代わりに、会話からユーザーの行動を直接推測できます。ユーザーは何を望んでいるかを自分の言葉で伝え、ニーズ、願望、期待、失望に関してコミュニケーションを取っています。この貴重なデータを応用して、ユーザーの意見に耳を傾け、学び、最適化できるかはあなた次第です。 Amazon Lex インターフェイスを Dashbot と簡単に統合できるようになりました。Dashbot は、最初から会話型アプリケーションを分析して理解するために構築された、分析と最適化のプラットフォームです。Dashbot は、ユーザー数、保持メトリック、ファネルの追跡など、分析プラットフォームに期待されるレポートを提供します。さらに、Dashbot は、検索可能な記録、会話パス、フレーズクラスターなど、会話型アプリケーション用に特別に構築されたいくつかのソリューションを提供します。  この記事では、Dashbot 機能を使用して Amazon Lex ボットとの相互作用を分析する方法について説明します。 ソリューションのアーキテクチャ AWS Lambda 関数を使用して、Amazon CloudWatch Logs から会話ログデータをストリーミングします。ロググループから Lambda 関数をトリガーするイベントをセットアップします。Lambda 関数は JSON データを Dashbot アカウントに投稿します。これらのリソースを配置したら、Dashbot でダッシュボードを作成できます。 このソリューションでは、Amazon Lex 会話ログデータを使用してボットの相互作用をキャプチャし、Dashbot サービス機能を使用してキャプチャした相互作用を分析できます。以下の画像は、インテントの上位メッセージを示しています。 Dashbot でアカウントを作成する Dashbot アカウントをセットアップするには、以下の手順通りに実行します。 dashbot.io に移動します。 [サインアップ] を選択します。注意: メールアドレス、会社名、パスワードを入力する必要があります。 [ChatBot を追加] を選択します。 [ボット名] […]