Amazon Web Services ブログ

Category: Artificial Intelligence

機械学習と BI サービスを使用してソーシャルメディアダッシュボードを構築する

このブログ記事では、Amazon Translate、Amazon Comprehend、Amazon Kinesis、Amazon Athena、Amazon QuickSight を使用して、自然言語処理 (NLP) を採用した、ツイートのソーシャルメディアダッシュボードの構築方法をご案内します。 各企業がお客様とソーシャルメディアでやりとりすることで、ブランドの認知度が高まります。ツイートによる情報の拡散は、それほどコストがかからないにもかかわらず、お客様候補を獲得し、ウェブサイトのトラフィックを増やし、お客様との関係を構築し、顧客サービスを改善するのに役立ちます。 このブログ記事では、サーバーレスのデータ処理と機械学習 (ML) パイプラインを構築し、Amazon QuickSight でツイートの多言語ソーシャルメディアダッシュボードを提供する方法を紹介します。API 駆動型 ML サービスを活用すると、可用性が高くスケーラブルでセキュアなエンドポイントを呼び出すだけで、開発者はインテリジェンスをコンピュータビジョン、音声、言語分析、およびチャットボット機能など、あらゆるアプリケーションに簡単に追加できるようになります。これらの構築ブロックは、AWS のサーバーレス製品を活用することで、ごくわずかなコードで構成できます。このブログ記事では、システムを通じてのツイートフローに、言語翻訳と自然言語処理を行っていきます。 ソーシャルメディアダッシュボードを構築するだけでなく、生データセットとエンリッチなデータセットの両方をキャプチャし、データレイクに永続的に格納できます。データアナリストは、このデータで新しいタイプの分析や機械学習をすばやく簡単に実行できます。 このブログ記事を通じて、以下のことをどのように行うことができるかをご案内します。 Amazon Kinesis Data Firehose を活用すると、リアルタイムのデータストリームを容易にキャプチャおよび準備して、データストア、データウェアハウス、データレイクに読み込むことができます。この例では、Amazon S3 を使用します。 AWS Lambda をトリガーして、AWS の完全に管理された 2 つのサービス、Amazon Translate と Amazon Comprehend を使用してツイートを分析します。これらのサービスでは、ほんの数行のコードだけで、言語間の翻訳が可能となり、ツイートの自然言語処理 (NLP) を実行できます。 Amazon Kinesis Data Firehose の個別の Kinesis データ配信ストリームを利用して、分析されたデータをデータレイクに書き戻します。 Amazon Athena を利用して、Amazon S3 に格納されたデータのクエリを実行します。 Amazon QuickSight […]

Read More

Microsoft Excel を使った Amazon Lex チャットボットの構築

この記事は、AWS コミュニティヒーローの Cyrus Wong によるゲスト投稿です。 ここ香港にある私たちの学院 (IVE) では、教育、研究、およびヘルスケアにおいて Amazon Lex での実験を開始しました。当学院には、IVE の英語教師、IVE の保育、高齢者およびコミュニティサービス学科のセラピストなど、Amazon Lex コンソールで自然言語での対話ボットを作成する技術的ノウハウを持たない従業員が多数存在します。私たちは、非技術系ユーザーのための Amazon Lex チャットボットを構築する試験的なプロジェクトをいくつか完了しました。非技術系ユーザーは Excel スプレッドシートにそれぞれの質問を記入し、その後開発者が Amazon Lex コンソールにユーザーの質問をコピーしました。しかし、ユーザーがチャットボットで何かを変更したい場合、開発者はいつもこれと同じコピーアンドペーストプロセスを行わなければなりませんでした。 そこで私たちは、「チャットボットの構築に Excel を直接使ってコピーアンドペーストの繰り返し作業をやめたらどうだろう?」と考えました。 当学院の従業員は全員 Microsoft Excel の使用方法を知っているため、私たちは最小限のプログラミングスキルでチャットボットを作成するために Excel を使用できる「ExcelLexBot」というプロジェクトを立ち上げることにしました。 ExcelLexBot は、事前定義されたフォーマットの Excel ファイル (xlsx) を Amazon Lex チャットボットに変換するサーバーレスアプリケーションです。私たちが作り上げた ExcelLexBot は様々な方法で使用することができ、その全てが迅速に、最小限の開発スキルで構築できるように設計されています。私のような教師は、ExcelLexBot を使ってインタラクティブなチャットに似たテストや課題を作成することができます。生徒は、最後の学年末プロジェクトにチャットボットの機能性を追加するためにこれを使用しますが、これも迅速に行うことができます。クラウドおよびデータセンター管理の副学士課程に属する 80 人の生徒たちが 1 時間内で 80 のチャットボットを作成しました。 この記事では、ExcelLexBot の仕組みと、それをデプロイして使用する方法について説明します。 Amazon Lex のコンセプト […]

Read More

AWS CloudTrail が Amazon SageMaker で利用可能に

以前より AWS をご利用のお客様からは、ガバナンスとコンプライアンスのニーズを満たすため Amazon SageMaker でアクティビティを記録したいというご要望をいただいておりました。このたび、Amazon SageMaker が AWS CloudTrail と統合されたことをご案内いたします。これにより Amazon SageMaker API のアクティビティに関するアカウント情報を記録して継続的にモニターして保持できるようになりました。Amazon SageMaker API コールは、Amazon SageMaker SDK、AWS SDK、Amazon SageMaker 用の Apache Spark SDK、Amazon SageMaker コンソールからキャプチャされ、Amazon S3 バケットに配信されて、AWS アカウントアクティビティのイベント履歴を提供します。記録される情報は、送信元 IP アドレス、リクエストされた日時、リクエストに関連付けられたユーザー ID、リクエストされたパラメーターなどです。 AWS CloudTrail との統合により、Amazon SageMaker には一連の管理機能が追加されます。これは、Amazon が共有セキュリティおよびコンプライアンスにおける責任を果たすための継続的な取り組みの一環です。この機能は Amazon が先月配信した管理機能に基づくものであり、ISO 標準認定に準拠しています。また、Amazon SageMaker におけるガバナンスを重視し、監査に対応した将来的機能の基盤であるとともに、お客様が安全かつ標準準拠の機械学習 (ML) プラットフォームを確立して運用するのに役立ちます。 詳細については、「Amazon SageMaker ドキュメント」を参照してください。 その他の参考資料 Amazon SageMaker でのご利用開始: より正確な時系列予測のための […]

Read More

Amazon SageMaker でのご利用開始: より正確な時系列予測のための DeepAR アルゴリズム

Amazon SageMaker の最新内蔵アルゴリズムとして、Amazon SageMaker DeepAR をリリースします。DeepAR はポイント予測と確率的予測の両方を生成するために再帰型ニューラルネットワーク (RNN) を使用する時系列予測の教師あり学習アルゴリズムです。私たちは、開発者が Amazon 内でミッションクリティカルな決定を行う、この伸縮自在にスケール可能で、極めて精度の高い予測アルゴリズムを利用できるようになることに大変な期待を寄せています。DeepAR アルゴリズムは他の Amazon SageMaker 内蔵アルゴリズムと同じように使用でき、トレーニングや推測のために、インフラストラクチャをセットアップする必要もありません。 どこでも予測 予測は多くの産業で機械学習を適用するためのスタート地点となっています。より良い製品需要予測を介してサプライチェーンを最適化する、ウェブサーバーのトラフィックを予測することでコンピューターリソースを配分する、あるいは、患者のニーズに合わせて病院の人員配備を行い人命を救うなど、その用途に関係なく、正確な予測への投資が、すぐに投資へと還元されない分野はほとんどありません。 Amazon では、様々な使用分野におけるビジネスの意思決定を下すために予測の手法を用いています。その一例としては、配送センターでの製品および労働力需要の予測が挙げられます。たとえば、プライムデー、ブラックフライデー、サイバーマンデーなどの主要な繁忙期の予測です。また、AWS のコンピューティングおよびストレージ能力が AWS のお客様全体に伸縮自在に行き渡るようにすることもその一例です。Amazon の科学者は Amazon におけるこの種の実世界のビジネス用途を、高い精度で解決するために DeepAR などのアルゴリズムを開発します。 DeepAR アルゴリズムのハイライト DeepAR 予測アルゴリズムはいわゆる自己回帰和分移動平均 (ARIMA) や指数平滑化 (ES) といった、予測用のオープンソース型ソフトウェアパッケージと商用ソフトウェアパッケージの多くに実装されている従来の予測技法と比較してより高い精度の予測を提供します。DeepAR アルゴリズムはまた、実世界の用途に特によく適した、他の機能およびシナリオをサポートしています。 コールドスタート予測 コールドスタートのシナリオとは、既存の履歴データがほとんど存在しない、またはまったく存在しない時系列の予測を生成する必要があるときに生じます。これは、実際には新商品の投入時、新 AWS リージョンが登録されたときによく起こります。ARIMA または ES といった従来の手法では個々の時系列に対し履歴データのみに依存するため、コールドスタートのケースでは精度が落ちるのが一般的です。スニーカーのような衣料品の予測を例にして考えてみましょう。 DeepAR のようなニューラルネットワークベースのアルゴリズムは、スニーカーが最初に売り出された時点で他のタイプのスニーカーの販売パターンをベースに新商品のスニーカーの一般的な販売動向を学習できます。 トレーニングデータ内で複数の関連時系列から関係を学習することで、DeepAR は既存の代替アルゴリズムより正確な予測を提供できるのです。 確率予測 DeepAR はまた、ポイント予測と (例: 1 週間に売り上げたスニーカーの量が X) および確率予測 (例: 1 […]

Read More

Amazon EMR での Spark にバックアップされた Amazon SageMaker ノートブックの構築

2017年の AWS re:Invent で発表された Amazon SageMaker は、データサイエンスと機械学習ワークフローのためのフルマネージド型サービスを提供します。Amazon SageMaker の重要な部分のひとつは、モデルの構築に使用できる強力な Jupyter ノートブックインターフェイスです。Amazon SageMaker 機能は、ノートブックインスタンスを Amazon EMR で実行されている Apache Spark クラスターに接続することによって強化することができます。Amazon EMR は、大量のデータを処理するためのマネージドフレームワークです。この組み合わせにより、大量のデータに基づいてモデルを構築することが可能になります。 Spark はビッグデータの迅速な処理を可能にするオープンソースのクラスターコンピューティングフレームワークで、機械学習ワークロードのための MLlib が含まれています。Amazon SageMaker ノートブックと Spark EMR クラスターとの接続を容易にするには、Livy の使用が必要になります。Livy は、Spark クライアントを必要とすることなく、どこからでも Spark クラスタとやり取りするためのオープンソース REST インターフェイスです。 このブログ記事では、Spark EMR クラスターをスピンアップする、Amazon SageMaker と EMR 間のコミュニケーションを許可にするために必要なセキュリティグループを設定する、Amazon SageMaker ノートブックを開く、そして最後に Livy を使用してそのノートブックを EMR 上の Spark に接続する方法を説明します。このセットアップは、PySpark、PySpark3、Spark、および SparkR ノートブックで利用できます。 EMR […]

Read More

4 つの新しいリージョン (北京、フランクフルト、シンガポール、ムンバイ) で AWS Deep Learning AMI の提供を開始

Sinnet が運用する中国 (北京)、欧州 (フランクフルト)、アジアパシフィック (シンガポール)、アジアパシフィック (ムンバイ) の 4 つの新しいリージョンで AWS Deep Learning AMI を利用できるようになりました。 Amazon マシンイメージ (AMI) は Machine Learning ユーザーがディープラーニングモデルをすぐ使い始められるようにするためのインフラストラクチャとツールを提供しています。AMI には Apache MXNet、Gluon、TensorFlow、Microsoft Cognitive Toolkit、Caffe、Caffe2、Theano、Torch、Pytorch、Keras といった人気のディープラーニングフレームワークのパッケージが組み込まれています。また、開発とモデルトレーニングを効率良く進めるため、AMI は NVIDIA CUDA と cuDNN ドライバーで事前設定されており Amazon EC2 の P2 インスタンスや P3 インスタンスにおける GPU 加速に対し最適化されています。 ディープラーニングでビジネス価値を推進 企業は多種多様なチャレンジに取り組む方法としてディープラーニングに注目しています。たとえば、メディア業界の大物である Condé Nast は顧客をより理解できるようにするため、オンラインコンテンツのモニタリングにコンピュータビジョンと自然言語処理を使用しています。自動運転テクノロジーのリーダー的な存在である TuSimple は、運転のシミュレーションの実行や自動運転システムのトレーニングにディープラーニングアルゴリズムを使用しています。インターネットで食品配送サービスを提供する Instacart は、何千人もの買い物代行者が顧客の買い物履歴を介してより効率的にショッピングを行うためにディープラーニングを使用しています。 AWS Deep Learning AMI […]

Read More

AWS Deep Learning AMI の更新: TensorFlow、Apache MXNet、Keras、PyTorch の新バージョン

TensorFlow、PyTorch、Keras、最新バージョンの Apache MXNet 1.0 などを含む様々なフレームワークにわたり、NVIDIA Tesla V100 “Volta” GPUs でのトレーニング速度を大幅に改善するため、AWS Deep Learning AMI を更新しました。 現在使用可能な AMI には主に 2 つのタイプがあります。Conda ベースの AWS Deep Learning AMI は、一般的に使用されているフレームワークの最新のポイントリリース (事前設定済みの CUDA、ノートブック、サポートしているライブラリを含む) を Conda ベースの仮想環境内にまとめています。これはすべての開発者に対して推奨されています。ソースコードを使用する Deep Learning AMI は、基盤となるフレームワークに変更を施したい場合や、最先端の技術を取り入れたい場合に適しています。AWS はこの AMI で使用可能なカスタムそして最適化したビルドを構築しています。これにはいくつもの高度な機能やパフォーマンスの改善が含まれています。本稼働環境で導入する前にコードをテストしてください。  TensorFlow の様々な精度を使用してトレーニング速度を改善 ソースコードを使用した新しい AMI には TensorFlow のカスタマイズされた更新済みビルドが含まれています。これは EC2 の P3 インスタンスで使用可能な V100 GPU で様々な精度を使用するトレーニングと推論を活用します。これによりトレーニング時間を大幅に短縮することができます。たとえば、このビルドを使用して ResNet-50 をトレーニングした場合、ストックの TensorFlow 1.4 […]

Read More

Apache MXNet 用のモデルサーバーのご紹介

今週初めに、AWS はディープラーニングモデルを提供する Apache MXNet の上に構築されるオープンソースのコンポーネントである、Apache MXNet 用のモデルサーバーの提供開始を発表しました。Apache MXNet は、機械学習のための使いやすく簡潔な API を備えた、高速でスケーラブルなトレーニングおよび推論フレームワークです。Apache MXNet 用のモデルサーバーにより、エンジニアは MXNet モデルを簡単、迅速、大規模に提供することができます。 Apache MXNet 用のモデルサーバーとは Apache MXNet (MMS) 用のモデルサーバーは、推論のディープラーニングモデルを大規模なデプロイするタスクを簡略化するために設計された、オープンソースのコンポーネントです。推論のモデルをデプロイすることは、ささいなタスクではありません。さまざまなモデルアーティファクトの収集、提供スタックのセットアップ、ディープラーニングフレームワークの初期化と設定、エンドポイントの公開、リアルタイムメトリクスの出力、カスタム前処理および後処理コードの実行をはじめ、数多くのエンジニアリングタスクがあります。各タスクが必要以上に複雑にならないこともありますが、モデルのデプロイに関連する全体的な労力は、デプロイプロセスが時間のかかる面倒なものとなる要因として十分です。 MMS により、AWS はディープラーニングモデルのデプロイプロセスを大幅に簡略化する、Apache MXNet 用のオープンソースのエンジニアリングツールセットを提供します。モデルのデプロイに MMS を使用することにより得られる主要な機能を以下に示します。 MXNet モデルを提供するために必要なすべてをカプセル化する単一の「モデルアーカイブ」にすべてのモデルアーティファクトをパッケージ化し、エクスポートするためのツール。 HTTP 推論エンドポイント、MXNet ベースのエンジンを含むサービススタックの自動セットアップ。このすべては、ホストする特定のモデルに対して自動的に設定されます。 スケーラブルなモデルの提供用に NGINX、MXNet、および MMS で設定された、事前設定済みの Docker イメージ。 モデルの初期化から、前処理と推論を経てモデルの出力の後処理に至る、推論実行パイプラインの各ステップをカスタマイズする機能。 レイテンシー、リソース使用率、エラーを含む、推論サービスとエンドポイントをモニタリングするリアルタイムのオペレーションメトリクス。 Java、JavaScript、C# など一般的なスタックのクライアントコードの簡単な統合と自動生成を可能にする、OpenAPI 仕様のサポート。 MMS は PyPi パッケージを通じて、またはモデルサーバーの GitHub レポジトリから直接利用でき、Mac および Linux で実行されます。スケーラブルな本稼働のユースケースでは、MMS GitHub […]

Read More

Amazon Polly を使用した Haptik のパーソナルアシスタントサービス

今回のブログは Haptik Inc. の共同創立者および CTO の Swapan Rajdev 氏より寄稿いただきました。 日々忙しく過ごしている我々にとって、やるべき事柄は増加する一方で達成しなければならない毎日のタスクをすべて管理することは容易ではありません。ミーティング日程を忘れないようにしたり、飛行機のチケットを購入したり、十分な水分補給そしてジムで体を動かすことなど、すべきことを数えだせばきりがありません。スケジュール管理というのは本当に面倒です。 Haptik はインド初のパーソナルアシスタントアプリです。ユーザーは旅行のプランを立てたり、フライトの確認、タクシーの予約そしてリマインダー設定を行うために、このアプリを使用しています。様々な機能を搭載しているこのアプリですが、中でユーザーが頻繁に使用しているのはリマインダー機能です。このアプリのユーザーは、モーニングコールを設定したり、水分補給を忘れずに行うようにリマインダーをセットアップしたり、異なる時間に電話を掛けたり、特別な日にメッセージを送るなど、リマインダーを必要とする様々な事柄に Haptik を使用しています。リマインダー機能を介して、ユーザーはアプリでリマインダーメッセージに関する通知を受信、そしてリクエストした時間に電話を受け取ることができます。 今回のブログでは、タスクを知らせるため指定時間にユーザーに電話をする場合に、当社がどのように Machine Learning や読み上げ機能 (TTS) を使用してユーザーのリマインダーを設定しているのかご説明します。各ユーザーに合わせて電話を掛けたり、何百万人というユーザーに対しリマインダー機能をスケーリングする場合に、どれほど Amazon Polly が役立っているか解説します。 Haptik のリマインダー機能 パーソナルアシスタントに仕事をさせるため、ユーザーは Haptik アプリにアクセスしてボットにメッセージを送信します。当社のシステムにあるメッセージはすべてメッセージパイプラインを通るようになっています。ここでは次の点を検出します。 ユーザーが意図するドメイン (リマインダー、旅行、周辺情報など) ユーザーが完了したいタスク (目的) エンティティ (ユーザーのタスクを完了するために必要な別のデータ) このパイプラインの終わりに近づいた時点でボットがすべての情報を取得している場合は、タスクを完了します。それ以外の場合は、関連性のある質問を返してすべての情報を収集します。 このベーシックパイプラインの他にも、アルゴリズムがいくつもあります。これはディープラーニングを使用してユーザーの介入なしに、ユーザーのタスクを完了しやすくするため、チャット履歴から学習します。 ユーザーに電話を掛ける理由は? ユーザーに予定のタスクを知らせるため、アプリで通知を送信し電話でも連絡します。Haptik は一般的に使用されている通知技術を使用してユーザーにリマインダーを送信していますが、次のいくつかの理由により、ユーザーに電話を掛ける方がさらに効果的であると当社は考えています。 まず、今のスマートフォン時代では、どのアプリからも大量の通知が届くようになっているので、重要な通知を見逃してしまうことがあります。そのため、知らない番号または Haptik から電話を受け取ることは、スヌーズボタンを押すだけで終わってしまう通常のアラームに比べて効果的です。 2 つめの理由は、当社はリマインダーを設定したタスクの種類に基づいて、電話を掛ける声とその内容を変更し、より優れたユーザーエクスペリエンスを提供しています。たとえば、モーニングコールには穏やかで落ち着いた音声を使用しています。そして時々、ユーザーが気持ち良く元気な状態で起床できるようにするため、電話の終わりに自己啓発的なメッセージも追加しています。Amazon Polly を使用することで、こうした TTS ユースケースの実装をシンプルで信頼性があるものにすることができます。

Read More

ONNX 1.0 の提供開始を発表

アマゾン ウェブ サービス (AWS)、Facebook、Microsoft は Open Neural Network Exchange (ONNX) 形式が本稼働環境で使用できるようになったことを発表しました。 ディープラーニングモデルのオープンスタンダード形式である ONNX は、Apache MXNet、Caffe2、Microsoft Cognitive Toolkit、PyTorch といったディープラーニングフレームワーク間での相互運用を可能にします。ONNX 1.0 は、ユーザーがフレームワーク間でディープラーニングモデルを移動できるようにし、本番稼働環境に取り入れやすくします。たとえば、開発者は PyTorch のようなフレームワークを使用して洗練されたコンピュータビジョンモデルを構築し、Microsoft Cognitive Toolkit または Apache MXNet を使用し推論で実行することができます。 ONNX の初回リリースは 9 月だったので、我々はこの成長とコミュニティサポートの勢いやその関与をたのもしく思いながら観察しています。Qualcomm、Huawei、Intel などを含む数々のハードウェアパートナーが各社のハードウェアプラットフォームで ONNX 形式をサポートしていることを発表しており、ユーザーが異なるハードウェアプラットフォームでモデルを実行しやすくしています。新機能のコードやサポートに貢献して下さったコミュニティの皆さんに、この場を借りて感謝申し上げます。 開発者が最新のリサーチにアクセスし最先端モデルを本稼働アプリケーションと統合できるようにするため、今後も ONNX の進化において ONNX パートナーやコミュニティと協力していきます。 関連の発表 Facebook – ONNX V1 をリリース Microsoft – ONNX 1.0 – AI のオープンエコシステムを発表 今回のブログの投稿者について Sukwon […]

Read More