Amazon Web Services ブログ

Category: Artificial Intelligence

Amazon Polly によるアラビア語サポートの追加

 2019 年 4 月 17 日、 Amazon Polly は Zeina と呼ばれるアラビア語の女性テキスト読み上げ (TTS) 音声の提供を開始しました。この声は明瞭かつ自然に聞こえ、他のすべての Amazon Polly 製品と同様に、早口言葉を習得し、ささやくことができます。Zeina の自己紹介を聞いてみましょう。 今すぐ再生する Amazon Pollyによる音声 こんにちは。私の名前は Zeina です。私はアラビア語の Amazon Polly 音声です。よろしくお願いします。 مَرْحَباً، اِسْمِي زينة، أَنا اَلْصَوْتُ اَلْعَرَبِيُّ فِي أمازون بولي، سَعِدْتُ بِلِقائِكُم. こちらは Zeina の能力を実証する早口言葉です。 今すぐ再生する Amazon Pollyによる音声 王子たる王子が砂漠で井戸を掘るように命じられましたが、この文にはいくつの R があるでしょう? أَمَرَ أَمِيرُ اَلْأُمَراءِ، بِحَفْرِ بِئْرٍ فِي اَلْصَحْراءِ. فَكَمْ […]

Read More

Amazon Comprehend と Amazon SageMaker ノートブックを使ったコンテンツの分析

今日の「つながった」世界では、企業にとってソーシャルメディアチャネルを監視し、それぞれのブランドと顧客関係を保護することが重要です。企業はソーシャルメディア、E メール、およびその他のコミュニケーションを通じてその顧客、製品、およびサービスについて理解しようとしています。機械学習 (ML) モデルは、これらのニーズに対応するために役立ちますが、独自のモデルを構築して訓練するプロセスは、複雑で時間がかかるものになり得ます。Amazon Machine Learning プラットフォームは、Jupyter ノートブックを使用して Amazon SageMaker 内でアクセスできる事前に訓練されたモデルを提供します。Amazon SageMaker は、モジュラー設計の完全マネージド型エンドツーエンド ML プラットフォームですが、この例ではホストされているノートブックインスタンスのみを使用します。Amazon Comprehend は、テキスト内のインサイトと関係性を見つけるために機械学習を使用する自然言語処理 (NLP) サービスです。 このブログ記事では、ノートブック内で Twitter センチメントを分析するために Amazon Comprehend を使用する方法を説明します。 Amazon Comprehend の仕組み Amazon Comprehend は、ソーシャルメディアの記事、E メール、ウェブページ、ドキュメント、およびトランスクリプションなどの非構造型データを入力として使用します。次に、NLP アルゴリズムの力を使ってその入力を分析し、キーフレーズ、エンティティ、およびセンチメントを自動的に抽出します。また、入力データの言語を検知したり、トピックモデリングアルゴリズムを使用してデータの関連グループを見つけたりすることもできます。以下の図は、Amazon Comprehend のワークフローを説明したものです。 Amazon Comprehend Custom を使用すると、あらかじめ設定された汎用エンティティタイプとしてサポートされていない新しいエンティティタイプを識別する、またはビジネス固有の用語とフレーズについて顧客フィードバックを分析することができます。例えば、顧客がいつチャーン (解約) するか、またはいつ固有の製品 ID の 1 つに言及するかを学ぶことが可能です。 ステップ 1: Amazon SageMaker ノートブックをセットアップする AWS マネジメントコンソールで [すべてのサービス] を選択してから、機械学習にある [Amazon […]

Read More

Amazon SageMaker Ground Truth を使って大量ラベル付けの品質保証を簡単に行う

このブログの記事では、大量のデータにラベル付けする機械学習システムを構築したばかりで、ラベルの一部に対して手動の品質保証(QA)を行おうとしている皆さんにご覧いただきたいと思います。限られた人員を大量の作業で困らせることなく、これを実現するためにはどうすれば良いでしょうか。本記事では、Amazon SageMaker Ground Truth のカスタムラベリングジョブを使用した実現方法を示します。 一度に1項目ずつワーカーに検証を依頼すると多くの作業が発生してしまいます。そこで、同じラベルが付与された項目をまとめて提示するカスタムラベル付け方法を実現し、各ワーカーには正しくないものをマークするように依頼します。 こうすると、ワーカーは、すべて最初からラベル付けするよりもはるかに多くのデータ量を迅速に評価できます。 品質保証が必要なユースケースの作業には、次のようなものがあります。 判断が難しいユースケースにおいて、実際に使用する前に対象分野の専門家によるレビューと承認を必要とする ラベルを確認して、ラベルを作成したモデルの品質をテストする ラベルに誤りがある項目を特定してカウントし、修正し、学習データセットに戻す モデルによって割り当てられたラベルの正確性と確信度の分析する 単一のしきい値をすべての分類クラスに適用できるか、あるいはクラスごとに異なるしきい値を使用するかどうかを確認する 初期データのラベル付けにより単純なモデルを使用し、次に品質保証のプロセスにより結果を検証し、再学習させることでモデルを改善する このブログ記事では、これらのユースケースに対応する例について説明します。 背景とソリューションの概要 Amazon SageMaker Ground Truth は、パブリックおよびプライベートのラベル付けワーカーに簡単にアクセスする機能や、一般的なラベリングタスクのための組み込みのワークフローとインターフェイスを提供します。 このブログ記事では、Ground Truth のカスタムラベリングワークフローを活用することで、システムやビジネスプロセス全体で時間のかかるもう一つの部分である、機械学習または人により付与されたラベルの品質保証を行う方法を説明します。 このサンプルケースでは、入力は個々のワーカーによって検証されるラベル付き画像のリストです。 ワーカーは一つの画面上に同じラベルのついた画像をまとめて表示し、一度にラベルのセットを検証できます。 こうすることで、セット全体を素早く確認し、正しくラベル付けされていないものをマークし、「適合しない」ものを選び出すことができます。 検証された結果は、Amazon DynamoDB テーブルに保存されます。 まとめて確認するバッチの項目数は、作業の複雑さと、容易に比較・確認するため一度に表示できる数に応じて、タスクに対し適切に選択する必要があります。 この例では、バッチサイズは 25 (テンプレートで設定可能)を選択し、確認作業の負荷とレビュー対象の画像の量のバランスをとっています。 Amazon SageMaker Ground Truthカスタムラベリングジョブの構造 Amazon SageMaker Ground Truthカスタムラベリングワークフローは、以下の要素から構成されています。 ラベリングタスクを実行するワーカー。パブリックワークフォース(Amazon Mechanical Turk を使用する場合など)またはプライベートワークフォースから選択できます。 JSON マニフェストファイル。 マニフェストは、ジョブの入力場所を Ground Truth に伝えます。 各行項目は単一のオブジェクトであり、単一のタスクに対応します。 この例では、各オブジェクトは、品質保証の作業において、一度にワーカーに提示される同じラベルを持った一群の画像を指すカスタムラベリング入力です。 ラベリング前の AWS […]

Read More

Amazon Translate で分析を多言語コンテンツに拡張する Protagonist

 Protagonist の COO (最高執行責任者) である Bryan Pelley 氏のゲスト投稿です。Protagonist 流に言うと「公共の場でデータに基づいた議論を行えば、企業はもっと効率よくコミュニケーションを図ることができます。」 Protagonist はナラティブの理解において先駆け的企業です。弊社が定義するナラティブとは視聴者が抱く想念のことをいい、そこでは相互に関連し合うコンセプト、テーマ、イメージ、アイデアが 1 つのストーリーとしてまとめられたものです。ナラティブは意識的にも無意識的にも人間の意思決定に大きく関わるニーズ、欲求、欲望を深く反映するため無視できません。Protagonist では Amazon Translate を使用することで英語以外の言語でナラティブを分析できるようになり、世界を相手に顧客を獲得することが可能となりました。 Protagonist Narrative Analytics プラットフォームでは人が持つ専門知識に基づいた自然言語処理 (NLP) と機械学習 (ML) を使用して、従来のメディア、ソーシャルメディア、その他のオンラインメディア全体でお客様にとって重要なナラティブを明確にし、推定し、追跡を行います。次の図は当社の Narrative Analytics によるソリューションを示しています。 Protagonist はいくつかの例外を除き英語のみのコンテンツしか分析できず、そのせいで長期的成長が制限されていました。多くのお客様だけでなく見込み顧客も、国境を超えたナラティブに関するプロジェクトに大きな関心を示しているにもかかわらずです。 こうしたナラティブを作成するには母国語のコンテンツに取り組む必要があります。 言語に達者なスタッフのおかげで、以前は主にフランス語とスペイン語でのプロジェクトを少し行うことができました。このような場合、チームは翻訳なしでコンテンツの分析を実行することになり、使用できる NLP ツールの範囲が制限されました。またはコンテンツ全体のコーパスのサンプルセットを手動で翻訳し、その翻訳済みのセットでツール一式をすべて実行していました。これら両方のプロセスを組合わせることもありました。しかしながらこのようなスタッフの人手によるソリューションでは拡張性がなく、効率的ではありませんでした。1,000 本のメディア記事サンプルを手動で翻訳するには、約 2 週間かかります。これではお客様にタイムリーなナラティブ分析を提供するには遅すぎます。 こうした状況を Amazon Translate は変えてくれました。多言語コンテンツを英語に素早くそして効率的に翻訳し、当社のナラティブプラットフォームで分析できるようになったのです。過去に他の機械翻訳サービスをいくつか試してみましたが、パフォーマンス、コスト、場合によっては長期契約しなければならないという点でどれも満足行くものではありませんでした。一方 Amazon Translate は、スピード、翻訳の正確さ、費用対効果、そしてオンデマンドの柔軟性という最適な組み合わせで当社のニーズを満たしてくれたのです。これまで翻訳に 2 週間以上かかっていたものが、Amazon Translate を使用することで今では数分で完了できます。 2018 年にお客様の 1 社である Omidyar Network (ON) […]

Read More

シンガポールで開催された AWS DeepRacer リーグのレースで開発者が世界記録を更新

AWS DeepRacer リーグは、スキルレベルを問わず開発者が参加できる世界初の自走型レーシングリーグです。今週 (4 月 10〜11 日)、シンガポールで開催されました。これは、世界中で行われるサミットサーキットでの 20 レースのうちの 3 レース目です。  カリフォルニア州サンタクララとフランスのパリでの最初の 2 レースに続いて、シンガポールの開発者コミュニティの実力が示されて興奮が高まりました。たしかに、シンガポールチャンピオンの Juv Chan が 9.090 秒という新しい世界記録のラップタイムを記録して、その実力は証明されました。実際、シンガポールサミットのリーダーボードのトップ 7 のラップタイムは、すべてそれまでのリーダーボードの最上位 (サンタクララのレースで Chris Miller が記録した 10.43 秒) を上回ったのです。シンガポール、お見事です!

Read More

多言語対応自動字幕トラックを使用した AWS ライブストリーミングを始めよう

多言語対応自動字幕トラックを使用したライブストリーミング は、ライブストリーミングビデオのコンテンツに、多言語字幕をリアルタイムで自動生成するためのソリューションです。このソリューションをそのまま使用することも、特定のユースケースに合わせてソリューションをカスタマイズすることも、AWS パートナーネットワーク (APN) パートナーと協力してエンドツーエンドの字幕作成ワークフローを実装することもできます。 AWS ライブストリーミング のソリューションをベースとして、この実装には Amazon Transcribe や Amazon Translate といった機械学習サービスが組み合わされています。このソリューションは、いわゆるオーバーザトップ (OTT) のライブチャネルに最終的な段階で字幕を自動生成を提供します。一般に字幕を作成するのに高い翻訳費用がかかりますが、専門の翻訳家を雇う必要はありません。また、このソリューションは、基本のアーキテクチャを拡張したいと考える誰でも利用可能な、オープンソースの形で提供されています。独自のワークフローに合わせ込むためのカスタム機能を追加できるのです。GitHub のリポジトリは こちらから入手可能です。 他に提供されている AWS ソリューションは、「AWS ソリューションポートフォリオを詳しく見る」から入手可能です。お客様は、特定ビジネスニーズに対応する AWS の検証済みで、自動化された、ターンキーリファレンス実装を製品カテゴリーや業界別にソリューションを見つけることができます。 注: このブログ投稿で解説するソリューションは、Amazon Transcribe Streaming、AWS MediaLive、AWS MediaPackage を使用しています。こちらは現在、特定の AWS リージョンでのみ利用可能です。したがってこのソリューションは、これらすべてのサービスが利用可能な AWS リージョンで起動する必要があります。リージョン別の最新の AWS サービスの提供状況については、「製品およびサービス一覧 (リージョン別) 」をご覧ください。 ステップ 1: 多言語対応自動字幕トラックを使ったライブストリーミングのデプロイ AWS マネジメントコンソールにサインインした後、「Live Streaming with Automated Multi-Language Subtitling」ソリューションのページへ移動します。[Launch solution in the AWS Console] をクリックします。 ステップ 2: AWS […]

Read More

EC2 用の Amazon Elastic Inference 設定ツールを使用して、EI アクセラレータを数分で起動する

Amazon Elastic Inference (EI) 設定ツールは、EI をすぐに使い始めることができる Python スクリプトです。 Amazon Elastic Inference を使用すると、低コストの GPU によるアクセラレーションを Amazon EC2 および Amazon SageMaker のインスタンスに適用して、深層学習推論の実行コストを最大 75 パーセント削減することができます。初めてEIを使用する場合は、アマゾン ウェブ サービス (AWS) PrivateLink VPC エンドポイント、IAM ポリシー、セキュリティグループルールなど、設定が必要な依存関係がいくつかあります。この作業を早く行えるように、EI 設定スクリプトを使用すると、必要なリソースを作成することで作業を簡単に始めることができて、EI アクセラレータを数分で起動できるようになります。このブログ記事では、スクリプトの使用方法、スクリプトの機能、実行時に予想されることについて説明します。 高レベルで言うと、このスクリプトは以下のことを行います。 AWS Elastic Inference サービスに接続できるようにする IAM ポリシーを使用して、インスタンスの IAM ロールを作成します。 インスタンスがアクセラレータと通信できるようにするために必要な入力ルールと出力ルールを使用してセキュリティグループを作成します。 目的のサブネット内に AWS PrivateLink VPC エンドポイントを作成します。 選択したオペレーティングシステム用の最新の AWS Deep Learning AMI (DLAMI) を使用して、EI アクセラレータで目的の EC2 インスタンスを起動します。 前提条件 EI を設定するには、以下でリンクされているスクリプトを実行します。以下のエンティティに依存しています。 […]

Read More

Amazon SageMaker の因数分解機械アルゴリズムを拡張し、レコメンデーション上位 x 件を予測しています。

Amazon SageMaker により、機械学習ワークロードで複雑なビジネス上の問題に対応するために必要な柔軟性が向上します。組み込みアルゴリズムを使用すると、すぐに開始できます。 このブログ記事では、組み込みの因数分解機アルゴリズムを拡張してレコメンデーション上位 x 件を予測する方法について、概説します。 この手法は、ユーザーに対し一定数のレコメンデーションをバッチ処理で生成する場合に最適です。例えば、この手法を使用して、ユーザーと製品購入に関する大量の情報から、あるユーザーが購入しそうな上位 20 製品を生成することができます。その後、将来的にダッシュボードへの表示やパーソナライズメールマーケティングなどで利用するため、このレコメンデーションをデータベースに保存できます。AWS Batch または AWS Step Functions を使用して、このブログで概説する手順を自動化し、定期的な再トレーニングや予測を行うこともできます。 因数分解機は、汎用教師あり学習アルゴリズムで、分類と回帰の両方のタスクに使用できます。このアルゴリズムは、レコメンデーションシステムのエンジンとして設計されました。このアルゴリズムでは、二次係数を低ランク構造に制限しながら、特徴について二次関数を学習することで協調フィルタリング手法を拡張します。この制限は、過学習を避け、また非常にスケーラブルであるため、大きな疎データによく適してします。これにより、入力特徴が何百万である一般的なレコメンデーションの問題に対するパラメーターが、何兆とあるのではなく、何百万となるようにします。 因数分解機のモデル方程式は、つぎのように定義されます。 次のようなモデルパラメータが推定されます。 ここでは、n は入力サイズ、k は潜在空間のサイズです。これらの推定されるモデルパラメータを使用して、モデルを拡張します。 モデルの拡張 Amazon SageMaker の因数分解機アルゴリズムを使うことにより、ユーザーと項目のようなペアについて、これらが合致する程度に基づき、そのペアのスコアを予測できます。レコメンデーションモデルの適用時、ユーザーを入力すると、そのユーザーの好みに合致する上位 x 件の項目リストを返すようにしたい場合がよくあります。アイテム数が多くなければ、可能性のあるアイテムすべてに対しユーザーと項目のモデルをクエリすることができます。ただし、この手法では項目数が多くなるとうまくスケールできません。このシナリオでは、Amazon SageMaker k 近傍法 (k-NN) アルゴリズムを使用して、上位 x 件の予測タスクを高速化できます。 以下の図は、このブログ記事で扱う手順のおおまかな概要を示しています。これには、因数分解機モデルの構築、モデルデータの再パッケージ化、k-NN モデルのフィッティング、および上位 x 件予測の作成が含まれます。 先に進めるため、手引きとなる Jupyter ノートブック をダウンロードすることもできます。以下の各セクションは、このノートブックのセクションと対応していますので、読みながら各ステップのコードを実行できます。 ステップ 1: 因数分解機モデルの構築 手引きとなる Jupyter ノートブックのパート 1 で、因数分解機モデルの構築手順を確認します。因数分解機モデルの構築に関する詳細は、因数分解機アルゴリズムのドキュメントを参照してください。 ステップ 2: モデルデータの再パッケージ化 Amazon SageMaker 因数分解機アルゴリズムでは、Apache […]

Read More

Amazon SageMaker Ground Truth でのラベリングジョブ用の優れた説明の作成

Amazon SageMaker Ground Truthは、機械学習 (ML) 用の高精度なトレーニングデータセットをすばやく構築するお手伝いをします。ご自身のワークフォース、データラベリングに特化したベンダー管理ワークフォースの選択、または Amazon Mechanical Turk が提供するパブリックワークフォースを使用して、人が生成するラベルを提供することができます。質の高いのラベルを取得するには、特にパブリックワークフォースを使用している場合、簡単かつ簡潔で明確な説明が必要です。良い説明が書ければ、アノテーションの品質を向上させることができます。正しく行えば、この作業に時間を費やす価値はあります。 このブログ記事では、パブリックワークフォースに効果的な説明を作成するためのベストプラクティスをご紹介します。ここで重要なポイントが 2 点あります。ワークフォースへの認知負荷をできるだけ減らすこと、そして説明を微調整して後で発生する問題を避けるためにもプロセスの早い段階で実験することです。たとえば実験で、データの一部に自分でラベルを付けたり、プロセス全体の中でも小規模なジョブをパブリックワークフォースに行ってもらうことができます。 以下のスクリーンショットは、ワーカーの観点から見て適切な説明のある Ground Truth のバウンディングボックスのラベリングタスク例を示しています。このタスク例では、Google Open Images Dataset から取得したイメージにある花の周りを囲む四角形の枠を描くようワーカーに伝えます。ワーカーがアノテーションを付けている作業中、イメージの左側にあるサイドバーには短い説明が表示されます。はっきりと要領を得た、かつタスクに特化した説明で、サンプルのイメージに焦点を当てています。 以下の図は、サイドバーにある [View full instructions] を選択すると表示される完全な説明のサンプルです。ワーカーが混乱しやすいあいまいな説明が、明確に表記されています。この投稿を最後まで読むと、ご自身のラベリングジョブで優れた説明を作成することができるでしょう。 推奨するワークフロー Ground Truth が提供するツールを使用してデータの一部にアノテーションを付けるのが、適切な説明を作成する最も簡単な方法です。作成後、その結果を説明のサンプルとして使用できます。これを行うには、以下の手順を行います。 データからサンプルをいくつか選択する。 Ground Truth でプライベートジョブを実行し、選択したサンプルにラベルを付ける。 結果を使って、簡単な説明を作成する。サンプルイメージと少しのテキストに焦点を当てる。 タスクのあいまいさを回避し明確にするため、完全な説明を作成する。 小さなパブリックジョブを実行し、説明をテストする。満足する結果が出るまで繰り返す。 タスクの単純化を考慮し、正当な価格を設定する。 注: プライベートラベリングジョブを実行すると、1 サンプルにつき 0.08 USD の費用がかかります。料金の詳細については、Amazon SageMaker Ground Truth料金ページをご覧ください。 質の高い説明を作成したら、フルラベリングジョブをパブリックワークフォースに送信します。チェックリストの各ステップを見ていきましょう。 データからサンプルをいくつか選択する データセットを閲覧して、データの多様性を捉えたサンプルを選択します。一般的なサンプルではなく、ラベルを付けたい項目からサンプルを選択すると、ご自身の特定のタスクについてアノテーターの理解が得られやすくなります。 ここでは、さまざまな形や大きさの花が異なる数で写っているイメージを選択します。これらのイメージにある一部の花は、他の花の後ろに隠れたり、フレームの端に触れたりしています。さまざまなケースを選択すると、説明を作成するのに良いサンプルを見つけやすくなります。また、ワーカーから見て難しいタスクについて、洞察や発見を得ることもできます。 Ground Truth でプライベートジョブを実行し、選択したサンプルにラベルを付けます。 前回のブログ投稿では、AWS […]

Read More

AWS DeepRacer リーグが開発者のさらなる楽しみとワクワクを目指してスタート!

  開発者から機械学習の開発者まで AWS DeepRacer リーグは、スキルレベルを問わず開発者が参加できる世界初の自走型レーシングリーグです。カリフォルニア州サンタクララで先週、開幕しました。2019 年のシーズン最初のチャンピオンに輝いたのは Chris Miller でした。Chris はカリフォルニア州サンタクルズに本拠を置く Cloud Brigade の創業者です。機械学習についてさらに理解を深めるため、AWS Summit を訪れました。 AWS では、スキルレベルを問わず全ての開発者に機械学習を身近なものにし、機械学習の体験を楽しく易しいものにすることに注力しています。サンタクララにおいて、最上位の完走者 3 人は全員オンサイトのワークショップの1つでモデルを構築し、その過程をとても楽しみました。 Chris Miller はウィニングラップタイム 10.43 秒を達成しましたが、今後 re:Invent 2019 で行われる決勝に進み、AWS DeepRacer Championship Cup獲得を目指すことになります。AWS Summit にやってくるまで、Chris には機械学習の経験がありませんでした。 Chris は語ります。「今日ここに来た時点では機械学習は未経験でした。まさにそれを学ぶためにやって来ましたし、そのためのすばらしい手段でした」 カリフォルニア州フレモントから参加した Rahul Shah は 2 位に入りました。Rahul にとって、自身で作成したモデルが好成績を収めたことはうれしい驚きで、AWS DeepRacer はたいへん楽しいものでした。Rahul は機械学習には過去数年間取り組んできましたが、強化学習は今回が初めてでした。 「今回の取り組みは簡単でした。開発者なら誰でもうまくできますよ。DeepRacer は AWS Summit の本当に楽しくてワクワクするイベントです」と、Rahul は語ります。 3 位で完走したのはカリフォルニア州サンマテオの Adrian Sarno […]

Read More