Amazon Web Services ブログ

[AWS Black Belt Online Seminar] AWS で実現するライブ動画配信とリアルタイムチャットのアーキテクチャパターン 資料及び QA 公開

先日 (2018/6/12) 開催しました AWS Black Belt Online Seminar「AWS で実現するライブ動画配信とリアルタイムチャットのアーキテクチャパターン」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。

Read More

AWS 内部ユースケース : AWS マーケティングにおける Amazon SageMaker の評価と採用

こんにちは。AWS マーケティングデータサイエンスチームです。 高度な分析および機械学習 (ML) 技術を使用して、セールスリードのML 主導スコアリング、ML によるセグメントをターゲティング化、およびダウンストリームへのインパクト測定の計量モデルといった、AWS のお客様のライフサイクル全体にわたるビジネス上の問題解決に向けて、お客様とともに取り組みます。 アマゾン内では、各チームが独立して運営されており、独自のテクノロジースタックの選択方法や、お客様が利用する AWS サービスの採用方法に関して意思決定を行います。 これにより、各チームは各自のロードマップを管理できます。 結果、サービス評価と採用が類似したものとなって、ML の経験がまだこれからというお客様にお役に立てることでしょう。 このブログでは、Amazon SageMaker サービスの評価に関して、初めの一歩を踏み出す情報をお届けしますので、皆さまのお役に立てれば何よりです。 AWS サービスをどう利用して、ビジネス目標を達成し ML モデルを拡張するか、といった最新情報をお届けしていきます。 このブログ記事では、Amazon SageMaker を使用して、独自の ML トレーニングおよびホスティングインフラストラクチャを置き換えるための実証支援 (POC) をどう実施するか、当社の経験をシェアしたいと思います 。 当社の既存の ML インフラストラクチャは、データ処理パイプラインを管理する Amazon の内部ワークフローツールと、モデルの構築、トレーニング、およびホストのための Amazon EC2 インスタンスで構成されています。 こうしたインフラストラクチャ管理に多大な時間を費やしており、それが Amazon SageMaker サービスをより高めていく動機となりました。 POC は、Amazon SageMaker の機能と性能を調べ、インフラストラクチャの作業と運用の複雑さを最小限に抑えます。 鍵となるワークストリームは次の 3 つです。 AWS IT セキュリティチームと協力して、データセキュリティとコントロールを特定し、実装。 Amazon SageMaker の既存のMLモデルの 1 […]

Read More

[AWS Black Belt Online Seminar] AWS 認定取得に向けて 資料及び QA 公開

先日 (2018/6/6) 開催しました AWS Black Belt Online Seminar「AWS 認定取得に向けて」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20180606 AWS Black Belt Online Seminar AWS 認定取得に向けて from Amazon Web Services Japan PDF Q. APNのビジネスプロフェッショナルやテクニカルプロフェッショナルはどの位置づけになりますか? A. eラーニングの内容は、クラウドコンセプトやAWSサービスの基本的なことを学習できる コンテンツです。AWS認定の「クラウドプラクティショナー」の学習コンテンツとして 最適な位置づけであり、AWSとしても強く推奨しています。 Q. アソシエイト新旧の違いを再度フォローしていただけると助かります。 A. 新しいバージョンの「AWS 認定ソリューションアーキテクト – アソシエイト」は、旧バージョンのリリースから 4 年間のソリューションアーキテクトの変更に対応した、新しい試験ガイドに基づいた試験です。過去数年にわたって開発された、適切に設計されたプログラムを反映しています。詳細につきましては、こちらをご参照ください。 Q. Eメールによる合格通知が来るまでにはどれくらいかかりますか。 A. 通常、試験終了から3日以内にメールでの試験結果が通知されます。ただし、以下 3 試験につきましては、メール内に試験結果の詳細は記載されず、アカウントに試験結果のアップロードが完了した時点(5営業日以内)で通知メールが送信されます。 AWS 認定ソリューションアーキテクト – アソシエイト (新版) AWS 認定クラウドプラクティショナー AWS 認定セキュリティ […]

Read More

Amazon Comprehend、AWS Glue、Amazon Athena を使用して感情分析をスケールする方法

現代の消費者は、ソーシャルメディア、ブログ、レビュープラットフォームを通じて企業や製品に満足感や不満を表明することがよくあります。感情分析は、企業が顧客の意見やニーズをよりよく理解し、情報に基づいてビジネスの意思決定を行うのに役立ちます。Amazon は、複数のカテゴリと言語で 1 億 3,000 万件以上の製品レビューを含むデータセットを公開しました。このデータセットを、今回のユースケースで使用します。 この記事では、Amazon S3 から未処理の Amazon 製品レビューを取り出し、データセットをクリーンアップし、各レビューから感情を抽出し、Amazon S3 に出力を書き戻すサーバーレスのデータ処理パイプラインを構築する方法を学びます。次に、最終結果を探索して視覚化します。クラウドベースの機械学習 API や他の選択した API を使用してデータを充実させる方法を強調したいと考えています。柔軟性は、パイプラインに組み込まれています。 Amazon Comprehend は機械学習を使用して、テキストにある洞察や関係を見つけます。私たちのユースケースでは、Amazon Comprehend を使用して、顧客の製品レビューから感情を判断します。使いやすい API を使用しても、意味のある洞察を得るには、未処理のデータセットをクリーンアップしてテキストをレビューする必要があります。この目的のために、Apache Spark のパワーを活用する完全マネージド型でサーバーレスの ETL (抽出、変換、ロード) サービスである AWS Glue を使用します。最後に、Amazon Athena と Amazon QuickSight を使用してデータをクエリし、視覚化します。 データパイプラインのアーキテクチャ 私たちのユースケースはシンプルですが、複雑なシナリオに合わせて簡単に拡張することができます。未処理データから始めて、すべてを一気に充実させたいと考えています。この場合、バッチ ETL プロセスが理想的です。 次の図は、私たちの処理パイプラインのアーキテクチャを示しています。 Apache Parquet 形式で Amazon S3 から未処理の Amazon 製品レビューのデータセットを読み取る (1) Glue ETL ジョブの実行から開始します。ETL は、レビューの行ごとに Comprehend API (2) […]

Read More

2018 年 7 月の AWS Black Belt オンラインセミナーのご案内

こんにちは。マーケティングの鬼形です。7 月の AWS Black Belt オンラインセミナーの配信についてご案内させて頂きます。 !!オンラインセミナーお申し込み方法: オンラインセミナー登録ページよりお申し込みください 【一般提供開始!】Amazon Neptune 2018 年 7 月 3 日 | 12:00 – 13:00 | IT 知識レベル:★★☆☆☆ | AWS 知識レベル:★★☆☆☆ 2018年6月に Amazon Neptune の一般提供が開始されました。この Webinar ではグラフデータベースの概念、および Amazon Neptune の基本的なアーキテクチャーを説明し、どのようなシーンで利用するのか、Amazon Neptune 利用時に押さえておくべきポイントについてご紹介致します。 対象者 グラフデータベースについて知りたい方 既にグラフデータベースを使用されている/検討されている方 本セミナーで学習できること Amazon Neptune の基礎、利用シーン、活用のポイントを学ぶことができます スピーカー 五十嵐 建平 Solutions Architect   【東京リージョン一般提供開始!】Amazon Elastic File System (Amazon EFS) 2018 年 7 […]

Read More

双方向の扉を活用した、AWS上のミッションクリティカルなSAPシステムの変革

この記事は、Amazon Web Services (AWS)で戦略的ISVパートナーのGMを務めるBas Kamphuisによるものです。 誰もが一方通行の扉を通ることを好みません。 一方通行の扉が閉まった後、始めた場所に戻るための簡単な方法はありません。お客様の選択肢は限られており、無意識に始めた旅の方向性を変えるには多大な時間とリソースを費やす必要があります。 最初の扉を開けないほうが良かったと思うかもしれません。 SAPをお使いの多くのお客様にとって、複雑でミッションクリティカルなSAP環境をどのように構築して稼働するかを決定することは、一方通行の扉を通り抜けることに似ています。SAPは多くのエンタープライズオペレーションにとって重要なツールですが、SAPの導入を成功するには、従来より大幅な設備投資、複雑に連携したシステムアーキテクチャ設計、企業の厳しい要件に合わせたカスタマイズソリューション、そして弾力性と信頼性を兼ね備えた堅牢なITバックボーンが必要です。

Read More

Amazon EKS – 一般向け利用を開始

Amazon Elastic Container Service for Kubernetes を発表し、re:Invent 2017 の期間中にお客様をプレビューにご招待しました。本日謹んで、Amazon EKS が、お客様が利用可能な実稼働状態に達したことをお知らせいたします。その Kubnernetes 適合性が認証され、既存の Kubernetes ワークロードを実行できるようになりました。 Cloud Native Computing Foundation の最新のデータによれば、Kubernetes を実行している全企業の 57% が AWS は 選択しており、Kubernetes 環境としては AWS が先頭を走っています。Kubernetes はお客様の IT 戦略のコアであり、毎週 AWS で数億ものコンテナを実行しています。Amazon EKS は Kubernetes クラスターのビルド、保護、操作、保守のプロセスを簡略化し、Kubernetes クラスターをゼロから設定することなく、アプリケーションのビルドに集中したいと考える組織にコンテナベースのコンピューティングの便益をもたらしています。 AWS インサイド Amazon EKS は AWS クラウド内で実行できるため、多くの AWS サービスと機能を大いに活用しながら、Kubernetes に関する既知の知識すべてをそのまま有効に適用できます。概要は以下の通りです。 Multi-AZ – Kubernetes コントロールプレーン (API サーバーおよび […]

Read More

Amazon SageMaker コンソールがトレーニングジョブのクローン作成サポートを開始

本日、トレーニングジョブのクローン作成機能を立ち上げましました。 Amazon SageMaker コンソール上で既存のものに基づいてトレーニングジョブを作成することがとても簡単になりました。 異なるトレーニングセットおよび同一設定を使い、 Amazon SageMaker 上で、複数のトレーニングジョブを実行するのが一般的なやり方です。 特定のハイパーパラメータや、基礎となるコンピューティングリソースを調整し、モデルを再トレーニングすることもよく行われます。 このようなシナリオでは、既存のトレーニングジョブをベースに新しいトレーニングジョブを作成することが望ましいです。こうした要件に対処するため、Amazon SageMaker は AWS 管理コンソールを使用して、既存のトレーニングジョブのクローン作成をサポートできるようになりました。 コンソールを使えば、既存のトレーニングジョブを複製するのは簡単です。 Amazon SageMaker コンソールで、左側のナビゲーションペインに表示される Training、そして Training jobs を選択してください。 そうすれば、これまでに作成した全てのトレーニングジョブのリストが表示されます。 例えば、新しいトレーニングジョブを作成したいとしましょう。 Training jobs リストの中にあるジョブ (xgboost-2018-06-05-17-19-32-703) を例とします。 同じ設定を用いて、別のデータセットに対しても xgboost-2018-06-05-17-19-32-703 トレーニングすることができます。 トレーニングジョブを最初から作成するには、Create training job を選択する代わりに、 xgboost-2018-06-05-17-19-32-703 をチェックし、Clone を選択して、Clone training job のページを開くだけです。 ジョブの設定は、元の設定 xgboost-2018-06-05-17-19-32-703 とほぼ同じです。ただし、接尾辞が元のジョブ名に自動的に追加された点が異なります。 同じトレーニングプロセスを再実行したい場合は、何も変更をせずにページの一番下にある Create training job を選択してください。 別のデータセットを使用するので、トレーニングジョブ名は好きなように変更してください。 この例では、 xgboost-mydataset を使用します。 ページ下にある […]

Read More

AWS Deep Learning AMI に Horovod が追加され、Amazon EC2 P3 インスタンスで、より高速なマルチ GPU TensorFlow のトレーニングが可能に

この AWS Deep Learning AMI は、よく普及しているオープンソースの分散トレーニングフレームワークで、複数 GPU で TensorFlow トレーニングを拡張します。Ubuntu や Amazon Linux 用で、 Horovod といっしょにインストールおよび全設定が完了済みです。 これは、 TensorFlow 1.8 の最適化ビルドのアップデート版で、5 月初旬に開始されました。 このカスタムビルドの TensorFlow 1.8 は、高度に最適化されたソースから直接構築され、Amazon EC2 C5 および P3 インスタンスのストック TensorFlow 1.8 と比較して、トレーニングパフォーマンスが向上しています。 マシンラーニングの開発者は、AMI に Horovod を追加すれば、TensorFlow トレーニングを P3 などの Amazon EC2 GPU インスタンス上で、1 つの GPU から複数の GPU にすばやくスケールアップすることが可能となり、トレーニングパフォーマンスをさらに向上させることができます。 開発者は、パラメーターサーバーを使用する標準の TensorFlow 分散トレーニングモデルと比較して、コードの変更を少なくし、より高いマルチ GPU トレーニングパフォーマンスが可能となります。 Amazon […]

Read More

複数の GPU に対する深層学習トレーニングをスケーリングするためのハイパーパラメーターの調整の重要性

複数の GPU による並列プロセスは、深層モデルのトレーニングのスケーリングを行う上で重要なステップです。トレーニングを繰り返すたびに、一般的に、ミニバッチと呼ばれるデータセットの小さなサブセットがプロセスされます。単一の GPU が使用可能の場合、それぞれのトレーニングの繰り返しにおけるミニバッチの処理は、この GPU により取り扱われます。複数の GPU でトレーニングするとき、ミニバッチはプロセスの負荷を均等に分散するために使用可能な GPU 全体に分割されます。各 GPU を完全に使用するためには、各追加 GPU でミニバッチのサイズを直線的に増大させる必要があります。ミニバッチのサイズは、トレーニング速度に影響を与えるだけではなく、トレーニングされるモデルの質にも影響を与えます。ミニバッチのサイズが大きくなると、他のハイパーパラメーターを微調整して、類似するモデルの質でより高速なトレーニングができるようにすることが重要です。 Gluon によるマルチ GPU と分散トレーニング 最新の真相学習モデルにより必要な広範なデータの量により、複数の GPU と分散マシンにスケーリングすることで、調査と本番稼働のための大幅な時間節約となる可能性があります。Amazon SageMaker や Amazon Elastic Compute Cloud (Amazon EC2) のようなサービスでは、数百 GPU の分散トレーニングをセットアップすることは、痛みのないだけでなく、正確な使用量に対して支払うだけで非常に経済的で、高価で十分に活用されていないハードウェアフリートを維持する必要はありません。 Apache MXNet は、柔軟でより効率的な深層学習プラットフォームです。 これは、複数のホストにわたるマルチ GPU と分散トレーニングに特に適しています。Apache MXNet の Gluon ライブラリは、深層学習のための明確で正確、さらにシンプルな API を提供します。gluon による複数の GPU のトレーニングおよび複数のマシンによる分散トレーニングに関するチュートリアルでは、マルチ GPU と分散トレーニングの容易なセットアップをデモンストレーションします。 トレーニングのハイパーパラメーター トレーニングのハイパーパラメーターは、勾配降下法によっては学習できないが、最終的なモデル品質に影響を与えるすべてのパラメーターを構成します。これらのパラメーターは、学習速度およびモメンタムなどの最適化パラメーター、ランダムなカラーシフト量などの増強パラメーター、および他の学習以外のパラメーターを含みます。 MXNet Gluon API は、すべての […]

Read More