Amazon Web Services ブログ

Category: Artificial Intelligence

Amazon Polly のユニークな新機能 Brand Voice

AWS は、Brand Voice と呼ばれる Amazon Polly の新機能を発表いたします。AI のリサーチサイエンティストや言語学者で構成される Amazon Polly チームと協力して、ブランドの個性を表現できる、独自の高品質なニューラルテキスト読み上げ (NTTS) 音声を構築できる機能です。Brand Voice を使用すると、独自の音声によるアイデンティティを製品やサービスに組み込むことで、ブランドを差別化できます。Amazon Polly は、ケンタッキーフライドチキン (KFC) カナダおよびナショナルオーストラリア銀行 (NAB) と協力して、Alexa の音声を強化しているのと同じディープラーニングテクノロジーを使用して、2 つのユニークなブランド音声を作成しました。 Amazon Polly チームは、KFC の最新の Alexa スキルを表現する、象徴的なカーネル・サンダースのアメリカ南部英語のアクセントで、KFC カナダの声を構築しました。Alexa 対応の Amazon デバイスで利用できる音声起動型スキルにより、カナダの KFC 愛好家は、お気に入りの KFC 商品の再注文も含めて、フライドチキンのすべてについてのカーネル・サンダースとの会話を楽しむことができます。KFC カナダの音声サンプルをお聞きください。 KFC の音声サンプル 今すぐ再生 Amazon Polly の音声 「私たちは、Amazon Polly を活用するテキスト読み上げ音声テクノロジーを採用して、当社商品のファンであるお客様にスムーズで他では味わえない KFC の再注文の体験を提供できる最初のブランドの 1 社になることを喜んでいます」と、KFC カナダのマーケティングディレクターである Jason Cassidy 氏は言いました。「カーネル・サンダースは彼のフライドチキンに情熱を傾けています。この新しいスキルにより、お気に入りの […]

Read More

[AWS Black Belt Online Seminar] Amazon Forecast 資料及び QA 公開

先日 (2020/01/28) 開催しました AWS Black Belt Online Seminar「Amazon Forecast」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200128 AWS Black Belt Online Seminar Amazon Forecast from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. よくエンドポイントという言葉を聞くのですが、どういう意味でしょうか? A. エンドポイントは、AWSのサービスまたはAWS上でホストするアプリケーションのエントリーポイントの URL です。 Amazon Forecast で「推論のエンドポイントを作成する」とご説明したのは、「学習したモデルをAWS上でホストし、QueryForecast などのAPIを呼ぶためのエントリーポイントを作成する」という意味となります。 Q. タイムスタンプよりも細かいサンプリングを指定することはカスタムで出来ますか?(1 秒未満の細かいセンサデータなど) A. タイムスタンプの最小単位は秒ですので、秒より細かい単位でサンプリングされたデータには対応していません。もし、秒より細かい単位のデータを扱う場合は、事前に前処理をして頂く必要がございます。 — 今後の AWS Webinar | イベントスケジュール 直近で以下を予定しています。各詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております。 — AWSome Day Online Conference 「AWSome Day […]

Read More

Amazon SageMaker Ground Truth を使いワーカーのラベル付け効率を確認する

 トレーニングデータセットのクリーンさと精度は、機械学習 (ML) が成功するかどうかの重要な要因です。間違ってラベル付けされたデータまたは不正確なデータを使用したトレーニングでは、モデルのパフォーマンスを低下させる可能性があります。では、データのラベリングを行うチームが正確に実施しているかどうかを簡単に判断するにはどうすればよいのでしょうか? 1 度に 1 人のワーカーの結果を手動で選別し、精度の高いデータを集計する方法があります。これよりも良い方法は自動化で、より迅速で正確な結果を得ることができます。 この投稿は、Amazon SageMaker Ground Truth を使用して、人間が行う作業の精度を分析する方法に焦点を当てています。Ground Truth でラベリングジョブを設定して送信し、そこから注釈を作成した作業者の精度を分析します。 この投稿は、Mechanical Turk (MTurk) ワーカータイプを使用して Amazon SageMaker でテキスト分類ラベリングジョブを実行し、その後にラベルの品質を確認する方法を学びたい方を対象としています。この投稿にはプロセスの各ステップを実行するチュートリアルがあるので、ML/AI または Amazon SageMaker の予備知識は必要ありません。 ユースケース センテンスが人物、動物、または植物を参照しているかどうかを予測できるモデルを作成することを目指します。各例でモデルをトレーニングできますが、その前に、MTurk の作業者はトレーニングデータに正しく注釈を付ける必要があります。 前提条件 チュートリアルを完了するには、次の前提条件を設定する必要があります。 AWS アカウント IAM アクセス許可 Amazon S3 バケット Amazon SageMaker ノートブックインスタンス Jupyter ノートブック AWS アカウントの設定 まだお持ちでない場合は、AWSアカウントを作成してください。このチュートリアルでは AWS の使用料金が発生するため、終了したら必ずリソースをシャットダウンし、削除してください。 IAM アクセス許可の設定 以前に Ground Truth でラベリングジョブを作成したことがある場合、このチュートリアルを完了するために必要なアクセス許可を既に持っている可能性があります。これらのアクセス許可には、以下が含まれます。 エンドユーザーの […]

Read More

Amazon Lex ボット用のビジネスインテリジェンスダッシュボードの構築

 お客様のユーザーエクスペリエンスを向上させることを目的に、Amazon Lex を使用した会話型インターフェースを公開したとします。どれだけうまく機能しているかを追跡しようと考えています。お客様は、有益であると感じるでしょうか? お客様は、どのように使用しているでしょうか? お客様は、気に入って戻ってくれるでしょうか? やり取りを分析して機能を追加するにはどうすればよいでしょうか? ボットとユーザーのやり取りを明確に把握していないと、こうした質問に答えるのは困難です。Amazon Lex の会話ログが最近リリースされたことで、実際のボットのやり取りに基づいて、Lex ボットのパフォーマンスをほぼリアルタイムで簡単に確認できるようになりました。会話ログを使用すると、すべてのボットのやり取りを Amazon CloudWatch Logs ロググループに保存することができます。この会話データを使用してボットを監視し、対処可能な洞察を得てボットを強化することで、お客様のユーザーエクスペリエンスを向上させることができます。 以前のブログ記事で、会話ログを有効にし、CloudWatch Logs Insights を使用してボットのやり取りを分析する方法を示しました。この記事では、Amazon QuickSight ダッシュボードと統合してビジネスに関する洞察を得る方法を示して、さらに一歩先へ進みます。Amazon QuickSight を使用すると、インタラクティブなダッシュボードを簡単に作成して公開できます。視覚化、図表、テーブルなどの広範なライブラリから選択し、ドリルダウンやフィルターなどのインタラクティブな機能を追加できます。 ソリューションのアーキテクチャ このビジネスインテリジェンスダッシュボードソリューションでは、Amazon Kinesis Data Firehose を使用して、会話ログデータを Amazon CloudWatch Logs から Amazon S3 バケットへ継続的にストリーミングします。Firehose 配信ストリームは、サーバーレス AWS Lambda 関数を使用して、未加工データを JSON データレコードに変換します。次に、AWS Glue クローラを使用して、このデータのメタデータを自動的に検出およびカタログ化し、Amazon Athena で照会できるようにします。以下には、これらのすべての AWS リソースと、必要な AWS Identity and Access Management (IAM) ロールを含む […]

Read More

Amazon Comprehend がマルチラベルのカスタム分類のサポートを開始

 Amazon Comprehend は完全マネージド型の自然言語処理 (NLP) サービスで、ドキュメントのコンテンツから洞察を抽出するテキスト分析を可能にします。Amazon Comprehend がカスタム分類をサポートするようになり、ML の専門知識を必要とせずに、お客様固有の要件に合わせてカスタム分類子を構築できるようになりました。以前は、カスタム分類はマルチクラス分類をサポートしていました。マルチクラス分類は、相互に排他的なラベルのリストからドキュメントに単一のラベルを割り当てるために使用されます。1 月 6 日から、カスタム分類はマルチラベル分類もサポートします。マルチラベル分類では、複数のラベルでモデルをトレーニングし、ドキュメントを分類できます。 たとえば、マルチラベル分類を使用して、顧客対応の文字起こしを 1 つまたは複数のラベルでカテゴリ分けし、支払い、更新、技術サポートなどの社内の部門を識別することができます。こうしたラベルを、サポートライブラリの関連コンテンツにマッピングしたり、社内の該当する担当部門に振り分けたりすることができます。 この記事では、要旨から学術論文の主題を予測する方法を見てみましょう (データソース: Yang et al. 2018.Sequence Generation Model for Multi-Label Classification)。カスタム分類は、2 段階のプロセスです。まず、関心があるラベルを認識するようにカスタム分類子をトレーニングします。次の画像では、各行に要旨と該当するラベルを含む CSV ファイルを作成しています。 comprehend_multilabel.zip から、Comprehend がサポートする入力形式で、上記のデータセットのサブサンプルをダウンロードできます。 次に、Amazon Comprehend コンソールで分類子をトレーニングします。マルチラベルモードを選択し、トレーニングデータが保存されている S3 ロケーションを指示し、他の設定を指定します。開発者ガイドの詳細な手順を参照してください。 カスタム分類の 2 番目の手順では、Amazon Comprehend が分類子をトレーニングした後、コンソールまたは StartDocumentClassificationJob API を使用して、分類するラベルがないドキュメントを送信します。この例では、1 行に 1 つのドキュメントがあるファイルで推論を実行します。 マルチクラスまたはマルチラベルのどちらのカスタム分類子をトレーニングしたかに応じて、分類 API は各ドキュメントを調べ、コンテンツを最もよく表す特定のラベル (マルチクラスの場合) またはコンテンツを最もよく表すラベルのセット (マルチラベルの場合) を返します。ここでの分析ジョブでは、以下のような出力が得られます。 1 […]

Read More

Amazon SageMaker の自動モデルチューニングを使い NLP モデルのパフォーマンスを最大化する

最近の 2 年間で、自然言語処理 (NLP) のフィールドには、多くの素晴らしいブレイクスルーが見られました。先進的な深層学習モデルが、NLP タスクにおける最先端パフォーマンスの基準を引き上げています。新しく公開された NLP モデルからメリットを得るための最良のアプローチは、まずトレーニング済みの言語モデルに新しいデータセットを適用し、その後で、特定の NLP タスク用にファインチューニングを施すことです。このアプローチは転移学習と呼ばれています。この手法によれば、モデルのトレーニングをゼロから始めることに比べ、必要なリソースを顕著に削減することが可能になります。また、少ないトレーニングデータからでも、しっかりした結果を得ることができます。 NLP テクニックが素早い成長を続ける中、トレーニング済み言語モデルをパッケージ化した NLP フレームワークも多く開発されてきており、ユーザーは転移学習を容易に実施できるようになっています。トレーニング済みの言語モデルを備えた NLP フレームワークとして普及しているものの例としては、ast.ai が作った ULMFiT と Hugging Face が作った PyTorch-Transformers の 2 つが挙げられます。 このブログ記事では、Amazon SageMaker で PyTorch-Transformers を使い NLP モデルのファインチューニングを行う方法をご紹介します。また、組み込みの自動モデルチューニング機能を、Microsoft Research Paraphrase Corpus (MRPC) [1] 、および Stanford Question Answering Dataset (SQuAD) 1.1 [2] の 2 つの NLP データセットに適用する方法も合わせて説明していきます。PyTorch-Transformers は、BERT、XLNET、GPT-2 などの先進的なトレーニング済み言語モデルを収録したライブラリです。この記事では、Google により開発 [3] […]

Read More

Amazon SageMaker を使い 自動的に 3D 地震波データを分析する

正確な3D 地震波データの分析は、原油や天然ガスが埋蔵あるいは滞留している可能性のある地質的な特質を割り出すことに役立てられます。Amazon SageMaker と Apache MXNet on AWS により、深層学習を使った地中探査が自動化できます。 このブログ記事では、これらのサービスを使い、3D 地震波データが示す地質的特質の解釈を行う、カスタム深層学習モデルの構築とトレーニングを行ってみます。この記事の目的は、カスタム化されたセマンティックセグメンテーションモデルの素早く簡単な作成方法を、原油と天然ガス事業に携わるデータサイエンティストの方に示すことにあります。 Amazon SageMaker は、データサイエンティストが、機械学習モデルをあらゆる規模で構築、トレーニング、チューニング、そしてデプロイできるようになる、完全マネージド型のサービスです。このサービスでは、パワフルかつスケーラブルであり、同時に使用法も簡単なコンピューティング環境を提供しています。 このブログ記事について 読む時間 15 分 完了するまでの時間 ~1 時間 完了するためのコスト 60 USD 未満 学習レベル 中級 (200) AWS のサービス Amazon SageMaker、EC2、Amazon S3 概要 どの地点をどの程度深く掘り下げるか決定し、原油や天然ガス生産の最適化とその他のことを行う際、地下の地質について詳しく知ることが重要になります。3D 地震波イメージングという技術により、地震波データの画像変換が行えます。その後、必要な地層 (たとえば岩塩層) と構造 (断層や褶曲) の特定が行われます。この「picking horizons」と呼ばれる、手動での特定プロセスは、ときに数週間を要することがあります。 セマンティックセグメンテーションなどの深層学習テクニックを使うと、手動による地中探査が自動化できます。このテクニックでは、深層畳み込みニューラルネットワークを使い特性の抽出と緻密層の検知をし、その分割と分類を行います。しかしながら、地震波を扱うアプリケーションで深層学習モデルをトレーニングするためには、 GPU が必須です。原油や天然ガスに携わる多くのデータサイエンティストたちにとって、コンピューティングリソースの不足は、地震波向けアプリケーションへの深層学習の応用を困難にしているのです。 今回の記事では、セマンティックセグメンテーションには U-Net のストラクチャを使用し、また、Kaggle によるコンペティションからパブリックドメインに提供された画像データセットも合わせて使用します。これらのリソースを使い、地表下に存在する岩塩層を特定するためのアルゴリズムを構築していきます。このノートブックは簡単に複製および拡張ができるので、地震波データにセマンティックセグメンテーションを応用する他のアプリケーションにも利用いただけます。 ワークフロー Amazon SageMaker によるセマンティックセグメンテーションを実施するには、次の手順に従います。 Kaggle からのデータをアップロードしデータファイルを作成します。 画像を準備します。 […]

Read More

NeurIPS 大会が気候データの課題に取り組む

地球の気候は非常に複雑で動的なシステムです。異なる気候変数がどのように相互作用するかを理解し、予測することは困難です。今日の気候研究で因果関係を見つける作業は、主に高価で時間のかかるモデルシミュレーションに依存しています。幸いなことに、大規模な気候データの利用可能性が爆発的に増加し、クラウドを介した計算能力が向上しているため、機械学習 (ML) と因果推論を使用して、降雨や海水温などの気候データの関係を理解するための新しい補完方法があります。この理解は、天気予報を改善し、ハリケーンや竜巻などの極端なイベントの原因を特定するのに役立ちます。進歩を加速するために、AWS は 2019 年に NeurIPS で気候の因果関係 (C4C) 大会を後援しました。この大会は気候データを理解するための新しい方法論における原因の発見と開発に焦点を当てており、承認された NeurIPS 2019 の大会 12 個のうち 1 つでした。Jakob Runge とドイツ航空宇宙センターの同僚とバレンシア大学の協力者によって組織されました。 機械学習は、厳格な統計モデルを前提とするのではなく、気候データの特性を学習して適応する柔軟な方法を提供します。これは、複数のサブコンポーネント間の相互依存性を示す気候データの複雑な性質を考える上で重要なことです。気候観測の量がかつてないほど増えたとしても、パターンを見つけてデータ間の複雑な関係を特定することは困難です。大会の目標は、新しいベンチマークを開発し、現実世界の気候課題に適用できる新しい方法を見つけることでした。参加者には、気候データ (降水量、湿度、温度など) と AWS クレジットを特徴とする時系列データセットが提供されます。ここで新しい方法論を発見し、気候データを分析するための新しい学際的研究を開くことを目指しました。 最優秀賞は、コペンハーゲン大学数学科学部のコペンハーゲン因果関係研究所の博士号と博士研究員のチームに贈られました。彼らは 34 個の異なるデータセットを使用し、変数間の因果関係を特定することを目的としていました。チームはシンプルなベースラインアプローチから始め、新しいバリエーションを導入して綿密に結果を監視し、競技トラック全体で最高のパフォーマンスを発揮した方法を特定しました。全体的に、気候データはブラインドで、参加者は異なる時系列がどの測定に対応するかを知らなかったため、先入観が含まれる仮説や仮定に影響されることなく、最良の方法論を最適化できました。詳細については、GitHub リポジトリを参照してください。 コペンハーゲン大学の博士研究員である Sebastian Weichwald 氏は、次のように述べています。「現代の最も差し迫った問題の 1 つに集中するようにコミュニティの意識を高めることは、このような大会の利点ですね」「大会データの背後にあるものを見つけることにわくわくしています。次の手順として、私たちが採用した方法がこの大会でうまくいった理由をさらに調査し、繰り返し続け、最終的に持続可能性と気候科学に影響を与える方法を学びたいと思います」 コペンハーゲン大学の優勝チームです。左から: Lasse Petersen、Nikolaj Thams、Phillip Bredahl Mogensen、Sebastian Weichwald、Gherardo Varando、Martin Emil Jakobsen。 ゲント大学 (ベルギー)、パレルモ大学 (イタリア)、バーリ大学 (イタリア)、ローマ・ラ・サピエンツァ大学 (イタリア) の教授と博士で構成されるチームは、気候相互作用の非線形性に焦点を当て、2 位として受賞しました。その方法は、カオスシステムの理論に影響を受けました。この理論は、天気を研究するところから生まれました。天気は、数日後の天気を予測できないカオスシステムです。チームは、これらの動的機能をより適切にとらえるアプローチを使用しました。そのため、カオス非線形データセットを含むカテゴリで成功しました。天気予報を予測するためのより良いツールの開発に取り組むことで、気候変動や極端な気象現象を理解できます。詳細については、GitHub リポジトリを参照してください。 受賞者は、2019 年 12 […]

Read More

Amazon Polly のスタンダード音声が、中東およびアジアパシフィックリージョンで利用可能に

Amazon Polly はテキストをリアルな音声に変換するサービスです。これを利用して、音声対応アプリケーションの作成が可能です。AWS は、中東 (バーレーン) およびアジアパシフィック (香港) リージョンにおいて、すべてのスタンダード音声が一般に利用可能になったことを発表しました。これらのリージョンのお客様は、Amazon Polly のポートフォリオで 29 言語でご利用いただける 60 種類を超えるスタンダード音声を音声合成できるようになりました。 Amazon Polly をご使用のお客様は、ニュースコンテンツ、ゲーム、e ラーニングプラットフォーム、テレフォニーアプリケーション、ユーザー補助アプリケーション、IoT などの音声認識対応製品という新しいカテゴリを構築しています。Amazon Polly の音声は高品質で費用対効果が高く、またレスポンスも速いため、低レイテンシーのユースケースに適しています。Amazon Polly は SSML タグもサポートしています。このため、音声出力をさらに制御できます。 詳細については、「Amazon Polly とは」をご参照ください。 利用可能な音声の完全なリストについては、「Amazon Polly の音声」をご覧ください。または、Amazon Polly コンソールにログインして、ご自分で試してみてください。 著者について Ankit Dhawan は Amazon Polly のシニアプロダクトマネージャーです。テクノロジーを愛し、Liverpool FC の大ファンです。お客様の対応をしていないときには、奥さんと愛犬とともにアメリカ太平洋岸の北西部エリアを探索しています。いつも楽観主義で、また伝記を読んだり、ポーカーをプレイするのが大好きです。テクノロジーや起業家精神、サッカーについてなら、話が尽きることはありません。  

Read More

AWS Data Exchange と Amazon SageMaker による機械学習ワークフローの構築

Amazon SageMaker や AWS Data Exchange などのクラウドサービスのおかげで、機械学習 (ML) がこれまで以上に簡単になりました。この記事では、AWS Data Exchange と Amazon SageMaker を使用して、NYC レストランのレストラングレードを予測するモデルを構築する方法について説明します。Amazon SageMaker とともに、AWS Data Exchange の 23,372 のレストラン検査グレードとスコアのデータセットを使用して、線形学習アルゴリズムによりモデルをトレーニングしてデプロイします。 バックグラウンド ML ワークフローは反復プロセスであり、トレーニングデータが必要かどうか、どの属性をキャプチャするか、どのアルゴリズムを使用するか、トレーニング済みモデルをどこにデプロイするかなど、多くの決定が必要です。これらの決定はすべて、学習システムの結果に影響します。問題が定義されたら、4 種類の学習システムから選択する必要があります。一部の学習システムは完全にトレーニングデータに依存していますが、他のトレーニングシステムではトレーニングデータをまったく必要とせず、むしろ明確に定義された環境とアクションスペースが必要です。アルゴリズムがトレーニングデータに依存する場合、最終モデルの品質と感度はトレーニングセットの特性に大きく左右されます。ここで多くの人が、機能の適切なバランスを見つけてバランスのとれた正確なモデルを得ようとする退屈なループに入ります。各学習システムの概要を以下に示します。 教師あり – 教師あり学習では、トレーニングセットにラベルが含まれているため、アルゴリズムは属性セットが与えられると正しいラベルを認識します。たとえば、ラベルが魚の一種である場合、属性は魚の色と重さである可能性があります。モデルは最終的に、正しいか、最も可能性の高いラベルを割り当てる方法を学習します。典型的な教師あり学習タスクは分類です。これは、テキストや画像などの入力情報をいくつかの定義済みカテゴリの 1 つに割り当てるタスクです。たとえば、メッセージヘッダーとコンテンツに基づいてスパム E メールを検出し、MRI スキャンの結果に基づいて悪性または良性としてセルを分類し、その形状に基づいてギャラクシーを分類します (Tan et al.2006)。このカテゴリで使用するアルゴリズムは通常、k 最近傍、線形回帰、ロジスティック回帰、サポートベクターマシン、およびニューラルネットワークで構成されています。 教師なし – 教師なし学習では、ラベルなしデータの関係を発見するアルゴリズムを使用します。アルゴリズムは、データを探索し、既知の特徴に基づいて関係を見つける必要があります。教師なし学習で使用される一般的なアルゴリズムには、同様のデータポイントをグループ化するクラスタリング (K-means、DBSCAN、階層クラスター分析)、異常値を見つけようとする異常検出、それに特徴間の相関を発見しようとする相関ルール学習が含まれます (Aurélien 2019)。実際には、これは犯罪率に基づいて都市をクラスタリングして類似する都市を見つけたり、顧客の年齢に基づいて食料品店で製品をクラスタリングしてパターンを発見したりすることで確認できます。 半教師あり – 半教師あり学習では、ラベル付きデータとラベルなしデータの両方で構成されるトレーニングデータを使用します。アルゴリズムは、多くの場合、教師なしアルゴリズムと教師ありアルゴリズムの両方の組み合わせです。ラベルなしデータを含むデータセットがある場合、最初のステップは、データにラベル付けすることです。データセットにラベルを付けたら、従来の教師ありの学習手法でアルゴリズムをトレーニングして、特徴を既知のラベルにマッピングできます。フォトホスティングサービスは、多くの場合、スキルを活かすことでこのワークフローを使用して、未知の顔にラベルを付けます。顔がわかると、別のアルゴリズムがすべての写真をスキャンして、現在既知の顔を特定できます。 強化 – 強化学習 (RL) は、トレーニングデータから学習する必要がないため、上記の学習システムとは異なります。代わりに、モデルは、明確に定義された環境のコンテキストにおける独自の経験から学習します。学習システムはエージェントと呼ばれ、エージェントは環境を観察し、ポリシーに基づいてアクションを選択および実行し、見返りに報酬を取得します。エージェントは、最終的にその以前の経験に基づいて、時間をかけてその報酬を最大化することを学習します。RL の詳細、またはその説明については、Amazon SageMaker […]

Read More