Amazon Web Services ブログ

Category: Artificial Intelligence

チャットボットにウェブ UI をデプロイする

お客様は、Amazon Lex をお使いになり非常に優れたチャットボットを構築しました。Amazon Lex コンソールをご使用になりチャットボットをテストしました。これでチャットボットを皆様のウェブサイトにデプロイ出来るようになります。 お客様が独自のボットユーザーインターフェース (UI) を構築することは可能ですが、荷が重いと感じられるかもしれません。様々なデバイスとブラウザに対するサポート、承認、音声録音などを扱う必要があります。以前に既に実行されているはずだと考え、上手く再使用できるソリューションが見つかるかもしれません。 Amazon Lex チャットボット UI チャットボット UI と呼ばれる Amazon Lex ウェブ UI のサンプルは、 Amazon Lex チヤットボットにフル機能のウェブクライアントを提供する関連する重要部分にすでに対応しています。この機能を迅速に活用して時間を最小限に抑えることで、お使いになられているチャットボットを搭載したアプリケーションの価値を見出すことができます。 フルページのチヤットボット UIとして稼働させることができます。: あるいは、チャットボットウィジェットとしてサイトに組み込むこともできます。: チャットボット UI は、以下の機能をサポートしています。: フルスクリーンまたは組み込み可能なウィジェットモードを備えた、モバイルに対応する UI 音声とテキストを完全にサポートし、二者間をシームレスに切り替えることができる 自動消音検出、トランスクリプション、オーディオの録音および再生、Amazon Lex レスポンスの再生を中断する機能などの音声機能 テキストと音声の両方をサポートするレスポンスカード ホスティングサイトからチャットボット UI とプログラムを介して対話する機能 複数のデプロイメントのオプション デプロイメントと統合のオプション チャットボット UI のデプロイメントと統合には4つのオプションがあります。 AWS CloudFormation の使用 AWS Mobile Hub の使用 事前に構築されている配布ライブラリの使用 事前にパッケージ化された Vue コンポーネントの使用 […]

Read More

AWS Deep Learning AMI に TensorFlow 1.5 と新しい Model Serving 機能が追加されました

AWS Deep Learning AMI は、機械学習を迅速かつ簡単に開始する支援となります。AMI には、機械学習の実践者の多様なニーズに応えるさまざまなプレビルドのオプションが含まれています。ディープラーニングのフレームワークの最新バージョンをご希望の方には、Deep Learning AMI は、別々の Conda ベースの仮想環境にインストールされたプレビルドのピップバイナリを提供します。高度なフレームワーク機能をテストしたり、フレームワークのソースコードを調整したりするのをお求めの方のために、ソースコード付きの Deep Learning AMI では、ソースからフレームワークのカスタムインストールを提供します。これらはしばしば、ストックバイナリでは利用できない高度な最適化でビルドされます。 Volta GPU での TensorFlow によるより速いトレーニング ソースコード付き AMI には、TensorFlow 1.5.0-rc1 が付属します。このプレリリースバージョンの TensorFlow は、EC2 P3 インスタンスに電力を供給する V100 Volta GPU を利用する NVidia CUDA 9 および cuDNN 7 ドライバをサポートします。当社のテストでは、ResNet-50 ベンチマークを合成 ImageNet データで fp-16 モードで p3.8xlarge インスタンスでトレーニングすると、TensorFlow 1.4.1 でのトレーニングよりも 1.8 倍高速になりました。これはプレリリースバージョンであるため、本番環境で使用する前にテストしてください。 Ubuntu と Amazon Linux […]

Read More

AWS DeepLens Lambda 関数と最新 Model Optimizer を深く知り尽くす

AWS DeepLens 向けに最新 Model Optimizer をリリースしました。これは皆さんのディープラーニングモデルを DeepLens GPU 上で効率的に実行できるよう最適化するもので、Python のコード一行のみで実行可能です。Model Optimizer は AWS DeepLens ソフトウェアバージョン 1.2.0 で利用できます。 AWS DeepLens は推論のために GPU にアクセスする際、Cl-DNN (Compute Library for Deep Neural Networks) を使用します。そのため、AWS DeepLens 上でモデルを実行するには、Cl-DNN 形式に変換しなくてはなりません。Model Optimizer はモデルのサイズにもよりますが、次のコード 1 行で、この変換を実行します。所要時間は 2-10 秒間です。 mo.optimize(model_name,input_width,input_height) このコードを自身の Lambda 関数に含めることで、Model Optimizer にアクセスできるようになります。Lambda 推論関数を使用することにより、AWS DeepLens からデプロイしたばかりのモデルにアクセスできるようになります。この投稿では、Lambda 推論関数の作成方法について説明するとともに、皆さんの要件に合わせてカスタマイズできるテンプレートをご紹介します。 Lambda の推論はプリプロセス、推論、ポストプロセスの 3 つの関数を実行します。 Lambda 推論関数を作成するには、AWS Lambda コンソールを使用し、以下のステップに従ってください […]

Read More

NNPACK ライブラリを使用した Apache MXNet の高速化

Apache MXNet は、ディープラーニングネットワークをビルドし、トレーニングし、再利用するために開発者が利用できるオープンソースライブラリです。このブログ投稿では、NNPACK ライブラリを使用して推論を高速化する方法を説明します。確かに、GPU 推論が利用できない場合、NNPACK を Apache MXNet に追加することは、インスタンスからより大きなパフォーマンスを引き出すための簡単なオプションかもしれません。常にそうですが、「かかる労力は異なる場合があり」、常に自分自身でテストを実行する必要があります。 開始する前に、トレーニングと推論の基礎の一部を確認していきましょう。 トレーニング トレーニングとは、ニューラルネットワークがデータセット内の各サンプルに対して正しいラベルを正しく予測する方法を学習するステップです。1 回に 1 個のバッチ (通常 32〜256 サンプル) ずつ、データセットがネットワークに送出され、バックプロパゲーションアルゴリズムを利用して、重みづけを調整することにより、エラー数の合計が最小限に抑えられます。 完全なデータセットを調べることをエポックと呼びます。大規模ネットワークは、可能な限り高い精度を達成するために、何百ものエポックに対してトレーニングする場合があります。これには数日から数週間かかることもあります。強力な並列処理能力を備えた GPU を使用することで、最も強力な CPU に比べてさえも、トレーニング時間を大幅に短縮することができます。 推論 推論とは、実際にトレーニングされたネットワークを使用して新しいデータサンプルを予測するステップです。Amazon Rekognition のように単一の画像内のオブジェクトを識別しようとする場合など、一度に 1 つのサンプルを予測することや複数のユーザーからの要求を処理するときに、複数のサンプルを同時に予測することなどが可能です。 もちろん、GPU は推論でも同様に効率的です。しかし、多くのシステムは、コスト、消費電力、またはフォームファクタの制約のために GPU に対応できません。したがって、CPU ベースの推論では、高速で実行できることが依然として重要なトピックになっています。ここでは NNPACK ライブラリが Apache MXNet で CPU 推論を高速化するのに役立つため、NNPACK ライブラリが、が採用されます。 NNPACK ライブラリ NNPACK は、GitHub で利用できるオープンソースライブラリです。どのように役立つのでしょうか?コンボリューションニュートラルネットワークについてお読みいただいていることでしょう。これらのネットワークは、コンボリューションとプーリングを適用して入力画像内の機能を検出する複数のレイヤーからビルドされています。 この投稿では実際の理論には触れませんが、NNPACK が高度に最適化される方法でこれらのオペレーション (および行列の乗算のような他のオペレーション) を実施しているとだけ申しておきましょう。基礎理論にご興味があるようでしたら、この Reddit の投稿で著者が述べた研究論文を参照してください。 NNPACK […]

Read More

Amazon SageMaker BlazingText: 複数の CPU または GPU での Word2Vec の並列化

AWS は、Amazon SageMaker の最新組み込みアルゴリズムとして Amazon SageMaker BlazingText をリリースします。BlazingText は、Word2Vec 埋め込みを生成するための教師なし学習アルゴリズムです。大規模コーパスには単語の密なベクトル表現があります。Word2Vec の最高速実装である BlazingText が、以下を使用する Amazon SageMaker ユーザーにご利用いただけるようになりました。 シングル CPU インスタンス (Mikolov によるオリジナルの C 実装および fastTextなど) 複数の GPU を備えたシングルインスタンス、P2 または P3 マルチ CPU インスタンス (分散 CPU トレーニング) 単一の p3.2xlarge (Volta V100 GPU 1 個) インスタンス上の BlazingText は、単一の c4.2xlarge インスタンス上の fastText よりも 21 倍速く、20% 割安になる場合があります。 複数の CPU ノード全体における分散トレーニングでは、BlazingText は […]

Read More

AWS KMS ベースの暗号化を Amazon SageMaker のトレーニングおよびホスティングに使用できるようになりました

Amazon SageMaker は、EC2 インスタンスのトレーニングおよびホスティングにアタッチされる ML General Purpose ストレージボリュームの暗号化に Throwaway key (Transient key とも呼ばれます) を使用します。これらのキーは、ML ストレージボリュームの暗号化にのみ使用され、すぐに破棄されるため、ボリュームを安全に使用して機密データを保管することができます。ボリュームには、アクセス制限されている関連するインスタンスを通じてのみアクセスできます。インスタンスが終了すると、ML ボリュームは削除され、ボリューム内のデータにはアクセスできなくなります。 お客様は、AWS Key Management Service (KMS) を通じて管理されるキーの使用を可能することを要求しています。これは KMS マスターキー ID を指定する際に、ノートブックインスタンスにアタッチされたストレージが暗号化される方法と同じです。 今日から、トレーニングとホスティングのデータを暗号化するために、KMS マスターキーを使い始めることができます。これにより、一元的なキー管理、キー使用監査ロギング、マスターキーローテーションなどの AWS KMS 機能を、分散トレーニングとモデルホスティングに活用できます。 トレーニングデータを暗号化するには、CreateTrainingJob API の呼び出しで KMS マスターキーを指定します。ホスティングの場合は、CreateEndpointConfig API の呼び出しでキーを指定します。 Amazon SageMaker および KMS の詳細については、Amazon SageMaker Developer Guide をご覧ください。 今回のブログの投稿者について Kumar Venkateswar は、Amazon SageMaker、Amazon Machine Learning、Deep Learning AMI […]

Read More

機械学習と BI サービスを使用してソーシャルメディアダッシュボードを構築する

このブログ記事では、Amazon Translate、Amazon Comprehend、Amazon Kinesis、Amazon Athena、Amazon QuickSight を使用して、自然言語処理 (NLP) を採用した、ツイートのソーシャルメディアダッシュボードの構築方法をご案内します。 各企業がお客様とソーシャルメディアでやりとりすることで、ブランドの認知度が高まります。ツイートによる情報の拡散は、それほどコストがかからないにもかかわらず、お客様候補を獲得し、ウェブサイトのトラフィックを増やし、お客様との関係を構築し、顧客サービスを改善するのに役立ちます。 このブログ記事では、サーバーレスのデータ処理と機械学習 (ML) パイプラインを構築し、Amazon QuickSight でツイートの多言語ソーシャルメディアダッシュボードを提供する方法を紹介します。API 駆動型 ML サービスを活用すると、可用性が高くスケーラブルでセキュアなエンドポイントを呼び出すだけで、開発者はインテリジェンスをコンピュータビジョン、音声、言語分析、およびチャットボット機能など、あらゆるアプリケーションに簡単に追加できるようになります。これらの構築ブロックは、AWS のサーバーレス製品を活用することで、ごくわずかなコードで構成できます。このブログ記事では、システムを通じてのツイートフローに、言語翻訳と自然言語処理を行っていきます。 ソーシャルメディアダッシュボードを構築するだけでなく、生データセットとエンリッチなデータセットの両方をキャプチャし、データレイクに永続的に格納できます。データアナリストは、このデータで新しいタイプの分析や機械学習をすばやく簡単に実行できます。 このブログ記事を通じて、以下のことをどのように行うことができるかをご案内します。 Amazon Kinesis Data Firehose を活用すると、リアルタイムのデータストリームを容易にキャプチャおよび準備して、データストア、データウェアハウス、データレイクに読み込むことができます。この例では、Amazon S3 を使用します。 AWS Lambda をトリガーして、AWS の完全に管理された 2 つのサービス、Amazon Translate と Amazon Comprehend を使用してツイートを分析します。これらのサービスでは、ほんの数行のコードだけで、言語間の翻訳が可能となり、ツイートの自然言語処理 (NLP) を実行できます。 Amazon Kinesis Data Firehose の個別の Kinesis データ配信ストリームを利用して、分析されたデータをデータレイクに書き戻します。 Amazon Athena を利用して、Amazon S3 に格納されたデータのクエリを実行します。 Amazon QuickSight […]

Read More

Microsoft Excel を使った Amazon Lex チャットボットの構築

この記事は、AWS コミュニティヒーローの Cyrus Wong によるゲスト投稿です。 ここ香港にある私たちの学院 (IVE) では、教育、研究、およびヘルスケアにおいて Amazon Lex での実験を開始しました。当学院には、IVE の英語教師、IVE の保育、高齢者およびコミュニティサービス学科のセラピストなど、Amazon Lex コンソールで自然言語での対話ボットを作成する技術的ノウハウを持たない従業員が多数存在します。私たちは、非技術系ユーザーのための Amazon Lex チャットボットを構築する試験的なプロジェクトをいくつか完了しました。非技術系ユーザーは Excel スプレッドシートにそれぞれの質問を記入し、その後開発者が Amazon Lex コンソールにユーザーの質問をコピーしました。しかし、ユーザーがチャットボットで何かを変更したい場合、開発者はいつもこれと同じコピーアンドペーストプロセスを行わなければなりませんでした。 そこで私たちは、「チャットボットの構築に Excel を直接使ってコピーアンドペーストの繰り返し作業をやめたらどうだろう?」と考えました。 当学院の従業員は全員 Microsoft Excel の使用方法を知っているため、私たちは最小限のプログラミングスキルでチャットボットを作成するために Excel を使用できる「ExcelLexBot」というプロジェクトを立ち上げることにしました。 ExcelLexBot は、事前定義されたフォーマットの Excel ファイル (xlsx) を Amazon Lex チャットボットに変換するサーバーレスアプリケーションです。私たちが作り上げた ExcelLexBot は様々な方法で使用することができ、その全てが迅速に、最小限の開発スキルで構築できるように設計されています。私のような教師は、ExcelLexBot を使ってインタラクティブなチャットに似たテストや課題を作成することができます。生徒は、最後の学年末プロジェクトにチャットボットの機能性を追加するためにこれを使用しますが、これも迅速に行うことができます。クラウドおよびデータセンター管理の副学士課程に属する 80 人の生徒たちが 1 時間内で 80 のチャットボットを作成しました。 この記事では、ExcelLexBot の仕組みと、それをデプロイして使用する方法について説明します。 Amazon Lex のコンセプト […]

Read More

AWS CloudTrail が Amazon SageMaker で利用可能に

以前より AWS をご利用のお客様からは、ガバナンスとコンプライアンスのニーズを満たすため Amazon SageMaker でアクティビティを記録したいというご要望をいただいておりました。このたび、Amazon SageMaker が AWS CloudTrail と統合されたことをご案内いたします。これにより Amazon SageMaker API のアクティビティに関するアカウント情報を記録して継続的にモニターして保持できるようになりました。Amazon SageMaker API コールは、Amazon SageMaker SDK、AWS SDK、Amazon SageMaker 用の Apache Spark SDK、Amazon SageMaker コンソールからキャプチャされ、Amazon S3 バケットに配信されて、AWS アカウントアクティビティのイベント履歴を提供します。記録される情報は、送信元 IP アドレス、リクエストされた日時、リクエストに関連付けられたユーザー ID、リクエストされたパラメーターなどです。 AWS CloudTrail との統合により、Amazon SageMaker には一連の管理機能が追加されます。これは、Amazon が共有セキュリティおよびコンプライアンスにおける責任を果たすための継続的な取り組みの一環です。この機能は Amazon が先月配信した管理機能に基づくものであり、ISO 標準認定に準拠しています。また、Amazon SageMaker におけるガバナンスを重視し、監査に対応した将来的機能の基盤であるとともに、お客様が安全かつ標準準拠の機械学習 (ML) プラットフォームを確立して運用するのに役立ちます。 詳細については、「Amazon SageMaker ドキュメント」を参照してください。 その他の参考資料 Amazon SageMaker でのご利用開始: より正確な時系列予測のための […]

Read More

Amazon SageMaker でのご利用開始: より正確な時系列予測のための DeepAR アルゴリズム

Amazon SageMaker の最新内蔵アルゴリズムとして、Amazon SageMaker DeepAR をリリースします。DeepAR はポイント予測と確率的予測の両方を生成するために再帰型ニューラルネットワーク (RNN) を使用する時系列予測の教師あり学習アルゴリズムです。私たちは、開発者が Amazon 内でミッションクリティカルな決定を行う、この伸縮自在にスケール可能で、極めて精度の高い予測アルゴリズムを利用できるようになることに大変な期待を寄せています。DeepAR アルゴリズムは他の Amazon SageMaker 内蔵アルゴリズムと同じように使用でき、トレーニングや推測のために、インフラストラクチャをセットアップする必要もありません。 どこでも予測 予測は多くの産業で機械学習を適用するためのスタート地点となっています。より良い製品需要予測を介してサプライチェーンを最適化する、ウェブサーバーのトラフィックを予測することでコンピューターリソースを配分する、あるいは、患者のニーズに合わせて病院の人員配備を行い人命を救うなど、その用途に関係なく、正確な予測への投資が、すぐに投資へと還元されない分野はほとんどありません。 Amazon では、様々な使用分野におけるビジネスの意思決定を下すために予測の手法を用いています。その一例としては、配送センターでの製品および労働力需要の予測が挙げられます。たとえば、プライムデー、ブラックフライデー、サイバーマンデーなどの主要な繁忙期の予測です。また、AWS のコンピューティングおよびストレージ能力が AWS のお客様全体に伸縮自在に行き渡るようにすることもその一例です。Amazon の科学者は Amazon におけるこの種の実世界のビジネス用途を、高い精度で解決するために DeepAR などのアルゴリズムを開発します。 DeepAR アルゴリズムのハイライト DeepAR 予測アルゴリズムはいわゆる自己回帰和分移動平均 (ARIMA) や指数平滑化 (ES) といった、予測用のオープンソース型ソフトウェアパッケージと商用ソフトウェアパッケージの多くに実装されている従来の予測技法と比較してより高い精度の予測を提供します。DeepAR アルゴリズムはまた、実世界の用途に特によく適した、他の機能およびシナリオをサポートしています。 コールドスタート予測 コールドスタートのシナリオとは、既存の履歴データがほとんど存在しない、またはまったく存在しない時系列の予測を生成する必要があるときに生じます。これは、実際には新商品の投入時、新 AWS リージョンが登録されたときによく起こります。ARIMA または ES といった従来の手法では個々の時系列に対し履歴データのみに依存するため、コールドスタートのケースでは精度が落ちるのが一般的です。スニーカーのような衣料品の予測を例にして考えてみましょう。 DeepAR のようなニューラルネットワークベースのアルゴリズムは、スニーカーが最初に売り出された時点で他のタイプのスニーカーの販売パターンをベースに新商品のスニーカーの一般的な販売動向を学習できます。 トレーニングデータ内で複数の関連時系列から関係を学習することで、DeepAR は既存の代替アルゴリズムより正確な予測を提供できるのです。 確率予測 DeepAR はまた、ポイント予測と (例: 1 週間に売り上げたスニーカーの量が X) および確率予測 (例: 1 […]

Read More