Amazon Web Services ブログ

Category: Artificial Intelligence

MLOps を適用して、Amazon Forecast で AI を利用した予測の自動化を構築する

この投稿では、Amazon Forecast で構築された予測モデルを開発して視覚化するために、サーバーレス Machine Learning Operations (MLOps) パイプラインを作成する方法を示します。Machine Learning (ML) のワークロードはスケーリングする必要があるため、ビジネス価値を得るために、さまざまな利害関係者間のサイロを取り除くことが重要です。MLOps モデルにより、データサイエンス、プロダクション、および運用の各チームが、可能な限り自動化されたワークフロー全体でシームレスに連携することができ、スムーズなデプロイと効果的かつ継続的なモニタリングが確実に行われるようにします。 ソフトウェア開発の DevOps モデルと同様に、ML の MLOps モデルは、ML ツールとフレームワーク全体におけるコードの構築と統合をサポートします。カスタムコードを書き直したり、既存のインフラストラクチャを再考したりすることなく、データパイプラインを自動化、運用、およびモニタリングできます。MLOps は、既存の分散ストレージと処理インフラストラクチャをスケーリングして、ML モデルを大規模にデプロイして管理するのに役立ちます。また、組織全体のすべてのモデルのドリフトを、一元化された場所で経時的に追跡および視覚化して、自動データ検証ポリシーを実装することもできます。 MLOps は、継続的な統合、継続的なデプロイ、および継続的なトレーニングを適用することにより、DevOps と ML の世界のベストプラクティスを組み合わせています。MLOps は、本番環境における ML ソリューションのライフサイクルを合理化するのに役立ちます。詳細については、Machine Learning Lens: AWS Well-Architected Framework と題したホワイトペーパーを参照してください。 以降のセクションでは、Amazon Forecast、AWS Lambda、およびAWS Step Functions を含む MLOps パイプラインを活用して、時系列予測モデルを構築、トレーニング、およびデプロイします。生成された予測を視覚化するには、Amazon Athena や Amazon QuickSight などの AWS サーバーレス分析サービスの組み合わせを使用します。 ソリューションのアーキテクチャ このセクションでは、Amazon Forecast の使用とデプロイを自動化するための青写真として使用できる MLOps […]

Read More

AWS DeepComposer Chartbusters: バッハスタイルで楽曲を生成し、チャートのトップを目指して競い合いましょう

AWS DeepComposer Chartbusters のリリースを発表できることを嬉しく思います。これは毎月開かれるチャレンジで、開発者が AWS DeepComposer を使ってオリジナルの楽曲を作成し、チャートのトップを勝ち取り、賞品を獲得するために競い合います。AWS DeepComposer は、開発者に機械学習 (ML) とジェネレーティブ AI 技術を始めるための創造的な方法を提供します。AWS DeepComposer では、開発者は ML のバックグラウンドに関係なく、ジェネレーティブ AI テクニックを使用開始して、モデルをトレーニングおよび最適化してオリジナルの音楽を作曲する方法を学ぶことができます。AWS DeepComposer Chartbusters の最初の課題である Bach to the Future では、開発者が AWS DeepComposer コンソールで提供される新しいジェネレーティブ AI アルゴリズムを使用して、バッハスタイルの楽曲を作成することが求められます。 AWS は毎月 2020 年 10 月まで、さまざまなジェネレーティブ AI テクニックを紹介するために毎月異なるテーマの新しい Chartbusters チャレンジをリリースします。チャレンジに参加するのに音楽の知識は必要ありません。チャレンジに参加する前に、AWS DeepComposer コンソールで利用できるラーニングカプセルを用いて、毎月のチャレンジに必要なジェネレーティブ AI の概念を学習できます。ラーニングカプセルは、ジェネレーティブ AI アルゴリズムの概念を学ぶのに役立つ、頭に入りやすい一口サイズのコンテンツを提供します。 チャレンジに参加する方法 チャレンジは、開発者が参加するために世界中で開かれています。開始するには、AWS DeepComposer コンソールで利用できるジェネレーティブ AI アルゴリズムの 1 […]

Read More

SageMaker 一時インスタンスで Jupyter ノートブックのスケジュールを立てる

現在、金曜日の午後 5 時です。あなたは、午後に複雑で洗練された機能エンジニアリング戦略をコーディングしてきたとします。Amazon SageMaker Studio t3.medium ノートブックで作業を開始しました。ここでのタスクは、帰宅するまでにこれを大規模なインスタンスに接続し、残りのデータセット全体にスケールアウトすることです。ノートブックインスタンスをアップグレードできますが、ノートパソコンを閉じるとすぐにジョブが停止してしまいます。ノートブックから直接ジョブをスケジュールしませんか? Amazon SageMaker は、機械学習 (ML) モデルを構築、トレーニング、デプロイするためのフルマネージドソリューションを提供します。この記事では、Amazon SageMaker Processing ジョブを使用して、オープンソースプロジェクト Papermill で Jupyter ノートブックを実行する方法を示します。Amazon SageMaker と Amazon CloudWatch、AWS Lambda、および AWS スタック全体の組み合わせにより、機能エンジニアリングなどのジョブをオンザフライでとスケジュールに沿ってスケールアップするために必要なモジュラーバックボーンが常に提供されます。このプロセスを簡素化するために、DIY ツールキットを喜んで提供させていただきます。AWS CloudFormation を使用してアクセス許可を設定し、Lambda を使用してジョブを起動し、Amazon Elastic Container Registry ( Amazon ECR) を使用してカスタマイズされた実行環境を作成できます。これには、任意の AWS クライアントからノートブックの実行を開始するためのライブラリと CLI、およびシームレスなユーザーエクスペリエンスのための Jupyter プラグインが含まれています。 これを執筆している時点で、Jupyter ノートブックにコードを記述し、ボタンをクリックするだけで、Amazon SageMaker 一時インスタンス上で、即時にまたはスケジュールに従って実行できます。この記事で紹介するツールを使用すると、シェルプロンプト、Amazon SageMaker の JupyterLab、お使いの別の JupyterLab 環境、または作成したプログラムで自動化して、どこからでもこれを実行できます。AWS CloudFormation を使用してセットアップを簡素化するための便利なツールを提供するサンプルコードを作成しました。これにより、重い作業を処理し、実行してそれをモニタリングすることができます。 ノートブックの実行の詳細については、GitHub リポジトリを参照してください。すべてのソースコードは、GitHub […]

Read More

Amazon SageMaker DeepAR アルゴリズムによる運転速度違反の予測

多くの企業や業界にとって、予測という側面はとても重要です。明確に定義された目標がないまま前進すると深刻な結果をもたらす可能性があります。製品計画、財務予測、および天気予報は、ハードデータと重要な分析に基づいて科学的な見積もりを作成します。時系列予測は、ベースライン、トレンド、および季節性があれば履歴データを分解できます。 Amazon SageMaker DeepAR 予測アルゴリズムは、時系列を予測するための教師あり機械学習アルゴリズムです。このアルゴリズムは、リカレントニューラルネットワーク (RNN) を使用して、ポイント予測と確率論的予測を生成します。DeepAR アルゴリズムを使用して、スカラー (1 次元) 時系列の単一の値を予測するか、モデルを作成することにより、関連する数百の時系列で同時に動作させることができます。また、モデルがトレーニングされる系列に関連する新しい時系列を予測することもできます。 時系列予測を説明するために、DeepAR アルゴリズムを使用してシカゴの速度違反カメラデータセットを分析します。データセットは Data.gov によってホストされ、米国総務局、テクノロジートランスフォーメーションサービスによって管理されています。これらの違反はカメラシステムによってキャプチャされ、シカゴデータポータルで利用できます。データセットを使用して、データのパターンを識別し、有意義な洞察を得ることができます。 データセットには、複数のカメラの位置と毎日の違反件数が含まれています。カメラがとらえた毎日の違反を 1 つの時系列として想像すると、DeepAR アルゴリズムを使用して、複数の道路のモデルを同時にトレーニングし、複数の道路のカメラ違反を予測できます。 この分析により、ドライバーが 1 年間さまざまな時間帯に制限速度を超過して運転する可能性が最も高い道路と、データの季節性を特定することができます。これにより、都市では、運転速度を下げ、代替経路を作成し、安全性を高めるための事前対策を実施することができます。 このノートブックのコードは、GitHub リポジトリで入手できます。 Jupyter ノートブックの作成 始める前に、Amazon SageMaker Jupyter ノートブックインスタンスを作成します。この投稿では、ml.m4.xlarge ノートブックインスタンスと組み込みの python3 カーネルを使用します。 必要なライブラリのインポート、データのダウンロードと視覚化 データを Jupyter ノートブックインスタンスにダウンロードし、Amazon Simple Storage Service (Amazon S3) バケットにアップロードします。データをトレーニングするには、住所、違反日、違反回数を使用します。以下のコードと出力は、データセットをダウンロードし、数行と 4 列を表示する方法を示しています。 url = ‘https://data.cityofchicago.org/api/views/hhkd-xvj4/rows.csv?accessType=DOWNLOAD’ # シカゴ市のサイトからデータを取得 r = requests.get(url, allow_redirects=True) open(datafile, […]

Read More

Amazon SageMaker と Deep Graph Library を使用して異種ネットワークの不正を検出する

詐欺的なユーザーや悪意のあるアカウントは、企業にとって年間数十億ドルもの収益の損失につながる可能性があります。多くの企業は、ルールベースのフィルターを使用してシステムでの悪意のあるアクティビティを防止していますが、このようなフィルターは脆弱で、悪意のある動作のすべてをキャプチャできない場合があります。 ただし、グラフ手法などの一部のソリューションは、詐欺師や悪意のあるユーザーの検出に特に適しています。詐欺師は行動を進化させて、ルールベースのシステムや単純な特徴ベースのモデルをだますことができますが、グラフ構造や、トランザクションや対話のログに記録されたユーザーと他のエンティティ間の関係を偽造することは困難です。グラフニューラルネットワーク (GNN) は、グラフ構造からの情報をユーザーやトランザクションの属性と組み合わせて、悪意のあるユーザーやイベントを正当なものと区別できる意味のある表現を学習します。 この記事では、Amazon SageMaker と Deep Graph Library (DGL) を使用して GNN モデルをトレーニングし、悪意のあるユーザーや不正なトランザクションを検出する方法を説明します。詐欺検出のためのフルマネージド AWS AI サービスをお求めの企業は、Amazon Fraud Detector を使用することもできます。これにより、偽のアカウントの作成やオンライン支払い詐欺など、潜在的に詐欺的なオンライン活動を簡単に特定できます。 このブログ記事では、Amazon SageMaker を使用したデータの前処理とモデルのトレーニングに焦点を当てています。  GNN モデルをトレーニングするには、最初にトランザクションテーブルやアクセスログの情報を使用して異種グラフを作成する必要があります。異種グラフは、さまざまなタイプのノードとエッジを含むグラフです。ノードがユーザーまたはトランザクションを表す場合、ノードは他のユーザーや、場合によっては他のエンティティ (デバイス識別子、機関、アプリケーション、IP アドレスなど) と異なる種類の関係をいくつか持つことができます。 これに当てはまるユースケースの例には、次のものがあります。 ユーザーが他のユーザーまたは特定の金融機関やアプリケーションと取引する金融ネットワーク ユーザーが他のユーザーと対話するだけでなく、個別のゲームやデバイスとやり取りするゲームネットワーク ユーザーが他のユーザーへのさまざまな種類のつながりを持つことができるソーシャルネットワーク 次の図は、異種金融取引ネットワークを示しています。 GNN には、人口統計情報などのユーザーに関する特徴や、アクティビティ頻度などのトランザクションに関する特徴を組み込むことができます。つまり、メタデータとしてのノードとエッジの特徴を用いて、異種グラフ表現を充実させることができます。異種グラフのノードと関係が確立された後、それらに関連する特徴を用いて、ノードまたはエッジの特徴およびグラフ構造の両方を使用して、GNN モデルをトレーニングして、さまざまなノードを悪意のあるノードと正当なノードに分類する方法を学習できます。モデルトレーニングは、半教師ありの方法で設定されます。グラフには、不正または正当とラベル付けされたノードのサブセットがあります。このラベル付けされたサブセットをトレーニング信号として使用して、GNN のパラメータを学習します。トレーニングされた GNN モデルは、ラベルを予測して、グラフ内の残りのラベルなしノードを見つけることができます。 アーキテクチャ 開始するには、Amazon SageMaker を用いた完全なソリューションアーキテクチャを使用できます。これにより、処理ジョブとトレーニングジョブを実行できます。Amazon SageMaker ジョブは、Amazon Simple Storage Service (Amazon S3) put イベントに応答する AWS Lambda 関数を使用して […]

Read More

検索インテントを使用してAmazon KendraとAmazon Lex を統合する

カスタマーサービスの会話は、一般的に1つ以上のトピックを中心に展開し、関連する質問を含みます。これらの質問にシームレスに答えることが良い会話を行うために不可欠です。例えば、レンタカーを予約する際には、「追加ドライバーにかかる料金はいくらですか?」や「子ども用のカーシートはありますか?」といった質問があると思います。 本日より、Amazon Lex ボットで検索インテントを使用して Amazon Kendra と統合できるため、ボットが Kendra からの回答を表示してくれるようになります。 Amazon Kendra は、最近、エキサイティングな新機能を搭載し、全ての AWS ユーザーに一般公開されました。Amazon Kendra は、機械学習を原動力として、高精度で使いやすいエンタープライズ検索サービスを提供します。これにより、自然言語を使用して直感的に検索したり、より正確な回答を返すことができるようになるため、エンドユーザーは組織の膨大な量のコンテンツ内に保存されている情報を見つけることができます。 以前、AWS Lambda 関数を Amazon Lex ボット内に追加して Kendra と統合する方法について説明しました。詳細はAmazon Kendra を使用して、よくある質問 ボットをよりスマートにをご覧ください。このアプローチでは、統合コードを記述して維持する必要があり、設定を更新する際には必ずこのコードを更新する必要があります。現在は、検索インテントを追加して、FAQ ドキュメントから探している回答を得ることができます。ボット定義の一部として、インテント内に検索インデックスパラメータを定義するだけで良いのです。ユーザー入力が他の構成されたインテントのいずれとも一致しない場合、ボットは対話中に Amazon Kendra 検索インデックスに問い合わせます。検索クエリの応答には、ボットが応答に使用できるリクエスト属性が入力されます。Lambda のコードを記述する必要は全くありません。この統合はシンプルで、Amazon Kendra から Amazon Lex の会話にシームレスに自然言語の回答を配信することができます。 この投稿は、検索インテントを使用して Amazon Lex ボットを Amazon Kendra と統合する方法を示しているため、会話において回答を提供するボットを素早く構築できます。下図に、今回のソリューションを示します。 Lex ボットの構築 以前の投稿と同じ会話を使ってボットの会話をモデル化します。 ユーザー: IT ヘルプデスクはどこにありますか? エージェント: 2 階の 201 号室 […]

Read More

Amazon Comprehend を使用して、ツイートから通信ネットワークのサービス停止を検出して視覚化する

今日の世界では、ソーシャルメディアは、顧客が消費するサービスの体験を共有する場所になっています。すべての通信プロバイダーは、顧客が不満な点をできるだけ早く理解し、頻繁に NOC (ネットワークオペレーションセンター) 内にソーシャルメディアチームを立ち上げることを望んでいます。このチームは、ツイートなどのソーシャルメディアメッセージを手動で確認し、キャリアのネットワークに特定の問題があることをほのめかす顧客の苦情や問題のパターンを特定するよう務めます。 不満を抱いている顧客はプロバイダーを乗り換える可能性が高いため、オペレーターは顧客体験を改善し、サービスの問題を報告している不満足な顧客に積極的にアプローチします。 もちろん、ソーシャルメディアは非常に大規模に運用されており、通信会社のお客様からはソーシャルメディアデータから顧客の問題を手動で明らかにすることは非常に困難であるとの声が伝わってきます。 この記事では、通信会社が Amazon Comprehend のカスタムマルチクラス分類を使用して、サービス停止を特定し、顧客と積極的に関わることができるように、ツイートをリアルタイムで分類する方法を示します。 ソリューションの概要 通信会社の顧客は、サービス停止についてソーシャルメディアに投稿するだけでなく、提供されたサービスについてコメントしたり、競合他社と比較したりしています。 会社は、それらのタイプのツイートを個別にターゲットにすることで有効活用できます。オプションの 1 つに、顧客からフィードバックをもらうことがあります。これを受けて、カスタマーサービスが顧客に対応することができます。サービス停止の場合、エンジニアが問題を特定できるように、情報を収集して外部システムでチケットを切る必要があります。 この記事のソリューションは、AI 主導型ソーシャルメディアダッシュボードソリューションを拡張したものです。次の図は、ソリューションのアーキテクチャを示しています。 AI 主導型ソーシャルメディアダッシュボードソリューションの実装アーキテクチャ このソリューションでは、Amazon Virtual Private Cloud (Amazon VPC) で実行される Amazon Elastic Compute Cloud (Amazon EC2) インスタンスをデプロイし、Twitter からツイートを取り込みます。Amazon Kinesis Data Firehose 配信ストリームは、ソリューションの Amazon Simple Storage Service (Amazon S3) バケットの raw プレフィックスにストリーミングツイートをロードします。Amazon S3 は AWS Lambda 関数を呼び出して、Amazon Translate を使用して生のツイートを分析し、英語以外のツイートを英語に翻訳します。そして Amazon […]

Read More

Amazon Polly が米国英語の子供の NTTS の音声の提供を開始

Amazon Polly はテキストをリアルな音声に変換するサービスです。これを利用して、音声対応アプリケーションの作成が可能です。米国英語の新しい子供の音声である Kevin の一般提供の開始を発表できることをうれしく思います。Kevin の音声は、最新のニューラルテキスト読み上げ (NTTS) テクノロジーを使用して開発されたため、自然で人間に近い音声となっています。この音声は男の子の声を模倣しています。Kevin の音声をお聞きください。 Kevin の音声サンプル 1 今すぐ再生 Amazon Polly の音声 Kevin の音声サンプル 2 今すぐ再生 Amazon Polly の音声 Amazon Polly では、14 のニューラル音声から選択できます。 米国英語 (en-US): Ivy、Joey、Justin、Kendra、Kevin、Kimberly、Joanna、Matthew、Salli 英国英語 (en-GB): Amy、Brian、Emma ブラジルポルトガル語 (pt-BR): Camila 米国スペイン語 (es-US): Lupe ニューラル音声は、以下のリージョンでサポートされています。 米国東部 (バージニア北部) 米国西部 (オレゴン) アジアパシフィック (シドニー) 欧州 (アイルランド) テキスト読み上げ音声の完全なリストについては、Amazon Polly の音声を参照してください。 お客様は、Amazon Polly の音声を使用して、ニュースコンテンツ、ゲーム、e ラーニングプラットフォーム、テレフォニーアプリケーション、ユーザー補助アプリケーション、IoT […]

Read More

機械学習を使用してリアルタイムのレース分析を提供

AWS DeepRacer は、機械学習 (ML) を初めて使用する経験のない開発者にとって、楽しく簡単な方法です。2019 年シーズンの終わりに、AWS DeepRacer リーグは、Amazon ML Solutions Lab と協力して、re:Invent 2019 で行われた AWS DeepRacer チャンピアオンシップカップの新しいスポーツ分析機能を開発しました。 このようなリアルタイム分析の目的は、上位の競争相手の戦略や戦術について、コンテキストやより詳細な経験を提供することにありました。これにより、視聴者は特定のモデル戦略がどのようにして順調に進展したのかを明確に理解でき、ML の開発をさらに分かりやすいものにし、実世界での応用できることを実証しました。この強化により、ファンは世界中の競争相手のパフォーマンスと運転スタイルを監視できるようになりました。 この投稿では、これらの分析を開発し、本番環境にデプロイし、ファンに配信した方法について説明します。 ML と従来の統計情報から得られるインサイトを活用 ML Sokutions Labは、モータースポーツに関する当社の専門知識を活用して、ML と従来の統計学の両方を活用したカスタムのアナリティクススイートを構築しました。 競争相手の勢いは、将来のパフォーマンスを示す重要な指標です。例えば、連勝状態にあると、超高速ラップを続けて記録する場合のように、自信を深めることができます。しかし、連敗状態になると、逆に働き、順調に進めることは困難になります。競争相手の次のラップタイムを予測することで、この傾向をファンに伝えました。Amazon Forecast で AutoML を使用してさまざまな予測方法を比較した結果、指数平滑化法( ETS )アルゴリズムを使うと、使用可能なデータセットが小さいにも関わらず正確な予測が得られることが分かりました。 ラップタイムの一貫性のようなメトリクスにより、ファンは、64 人の競技者が参加するチャンピオンシップカップ開幕戦では、さまざまな運転スタイルを解釈することができるようになりましたが、2 日目のトーナメント試合では、どのスタイルが優位に立つのははっきりしませんでした。ソラの攻撃的で危険なほど早いペースを、フミアキの一貫して正確なスタイルが抑えて勝利を収めるのでしょうか? シミュレーションされたレースを使用して、各対戦の勝者を予測することができ、ファンが最後まで大接戦となるようなレースを予測することできるようにしました。統計的アプローチをとり、各競合相手のラップタイムを確率分布でモデル化しました。2019 年の AWS DeepRacer サミットのデータを参照することで、特定の競合相手のラップタイムの分布は全体的に右に歪んでおり、時間の経過とともに改善していることが分かりました。このラップタイムの歪度をとらえるには、最尤推定法を用いてワイブル分布にあてはめることにより、最適スケールとシフトパラメータを見つけます。 次にグラフは、上位 3 名の競合相手のラップタイムの分布を示しています。 勝者の予測問題を、より早い競争相手の最速タイムに打ち勝つ可能性(テイル確率)としてとらえ、モンテカルトシミュレーションを使用して、各競争相手のワイブル分布からサンプルと採取し、その可能性を計算しました。 サーバレスアーキテクチャを使用したソリューションをデプロイ これらのインサイトをリアルタイムで計算するために、AWS 上で低レイテンシでサーバーレスのアーキテクチャに分析法一式をデプロイしました。次の図は、このアーキテクチャを示しています。 アーキテクチャには、次の手順が含まれます。 競争者がラップを完了すると、その時間は Amazon Aurora サーバーレスを動作させている Amazon Relational […]

Read More

Amazon EKS が EC2 Inf1 インスタンスのサポートを開始

Amazon Elastic Kubernetes Service (EKS) は、短期間で機械学習ワークロードのための主要な選択肢になりました。開発者の俊敏性と Kubernetes のスケーラビリティを組み合わせており、AWS で利用可能な Amazon Elastic Compute Cloud (EC2) インスタンスタイプの幅広い選択肢 (C5、P3、G4 ファミリーなど) からお選びいただけます。 モデルがより高度になるにつれ、高スループットで予測を素早く提供するためにハードウェアアクセラレーションがますます求められています。本日より、AWS のお客様は、Amazon Elastic Kubernetes Service で Amazon EC2 Inf1 インスタンスを使用できるようになりました。これにより、クラウドでの高いパフォーマンスを最小限の予測コストで実現できます。 EC2 Inf1 インスタンス入門 Inf1 インスタンスは、AWS re:Invent 2019 でリリースされました。これらは AWS が一から構築したカスタムチップの AWS Inferentia を使用しており、機械学習の推論ワークロードが加速します。 Inf1 インスタンスは複数のサイズで利用可能で、1、4、または 16 の AWS Inferentia チップがあり、最大 100 Gbps のネットワーク帯域幅と最大 19 Gbps の EBS […]

Read More