Amazon Web Services ブログ

Category: Artificial Intelligence

Amazon Polly のスタンダード音声が、中東およびアジアパシフィックリージョンで利用可能に

Amazon Polly はテキストをリアルな音声に変換するサービスです。これを利用して、音声対応アプリケーションの作成が可能です。AWS は、中東 (バーレーン) およびアジアパシフィック (香港) リージョンにおいて、すべてのスタンダード音声が一般に利用可能になったことを発表しました。これらのリージョンのお客様は、Amazon Polly のポートフォリオで 29 言語でご利用いただける 60 種類を超えるスタンダード音声を音声合成できるようになりました。 Amazon Polly をご使用のお客様は、ニュースコンテンツ、ゲーム、e ラーニングプラットフォーム、テレフォニーアプリケーション、ユーザー補助アプリケーション、IoT などの音声認識対応製品という新しいカテゴリを構築しています。Amazon Polly の音声は高品質で費用対効果が高く、またレスポンスも速いため、低レイテンシーのユースケースに適しています。Amazon Polly は SSML タグもサポートしています。このため、音声出力をさらに制御できます。 詳細については、「Amazon Polly とは」をご参照ください。 利用可能な音声の完全なリストについては、「Amazon Polly の音声」をご覧ください。または、Amazon Polly コンソールにログインして、ご自分で試してみてください。 著者について Ankit Dhawan は Amazon Polly のシニアプロダクトマネージャーです。テクノロジーを愛し、Liverpool FC の大ファンです。お客様の対応をしていないときには、奥さんと愛犬とともにアメリカ太平洋岸の北西部エリアを探索しています。いつも楽観主義で、また伝記を読んだり、ポーカーをプレイするのが大好きです。テクノロジーや起業家精神、サッカーについてなら、話が尽きることはありません。  

Read More

AWS Data Exchange と Amazon SageMaker による機械学習ワークフローの構築

Amazon SageMaker や AWS Data Exchange などのクラウドサービスのおかげで、機械学習 (ML) がこれまで以上に簡単になりました。この記事では、AWS Data Exchange と Amazon SageMaker を使用して、NYC レストランのレストラングレードを予測するモデルを構築する方法について説明します。Amazon SageMaker とともに、AWS Data Exchange の 23,372 のレストラン検査グレードとスコアのデータセットを使用して、線形学習アルゴリズムによりモデルをトレーニングしてデプロイします。 バックグラウンド ML ワークフローは反復プロセスであり、トレーニングデータが必要かどうか、どの属性をキャプチャするか、どのアルゴリズムを使用するか、トレーニング済みモデルをどこにデプロイするかなど、多くの決定が必要です。これらの決定はすべて、学習システムの結果に影響します。問題が定義されたら、4 種類の学習システムから選択する必要があります。一部の学習システムは完全にトレーニングデータに依存していますが、他のトレーニングシステムではトレーニングデータをまったく必要とせず、むしろ明確に定義された環境とアクションスペースが必要です。アルゴリズムがトレーニングデータに依存する場合、最終モデルの品質と感度はトレーニングセットの特性に大きく左右されます。ここで多くの人が、機能の適切なバランスを見つけてバランスのとれた正確なモデルを得ようとする退屈なループに入ります。各学習システムの概要を以下に示します。 教師あり – 教師あり学習では、トレーニングセットにラベルが含まれているため、アルゴリズムは属性セットが与えられると正しいラベルを認識します。たとえば、ラベルが魚の一種である場合、属性は魚の色と重さである可能性があります。モデルは最終的に、正しいか、最も可能性の高いラベルを割り当てる方法を学習します。典型的な教師あり学習タスクは分類です。これは、テキストや画像などの入力情報をいくつかの定義済みカテゴリの 1 つに割り当てるタスクです。たとえば、メッセージヘッダーとコンテンツに基づいてスパム E メールを検出し、MRI スキャンの結果に基づいて悪性または良性としてセルを分類し、その形状に基づいてギャラクシーを分類します (Tan et al.2006)。このカテゴリで使用するアルゴリズムは通常、k 最近傍、線形回帰、ロジスティック回帰、サポートベクターマシン、およびニューラルネットワークで構成されています。 教師なし – 教師なし学習では、ラベルなしデータの関係を発見するアルゴリズムを使用します。アルゴリズムは、データを探索し、既知の特徴に基づいて関係を見つける必要があります。教師なし学習で使用される一般的なアルゴリズムには、同様のデータポイントをグループ化するクラスタリング (K-means、DBSCAN、階層クラスター分析)、異常値を見つけようとする異常検出、それに特徴間の相関を発見しようとする相関ルール学習が含まれます (Aurélien 2019)。実際には、これは犯罪率に基づいて都市をクラスタリングして類似する都市を見つけたり、顧客の年齢に基づいて食料品店で製品をクラスタリングしてパターンを発見したりすることで確認できます。 半教師あり – 半教師あり学習では、ラベル付きデータとラベルなしデータの両方で構成されるトレーニングデータを使用します。アルゴリズムは、多くの場合、教師なしアルゴリズムと教師ありアルゴリズムの両方の組み合わせです。ラベルなしデータを含むデータセットがある場合、最初のステップは、データにラベル付けすることです。データセットにラベルを付けたら、従来の教師ありの学習手法でアルゴリズムをトレーニングして、特徴を既知のラベルにマッピングできます。フォトホスティングサービスは、多くの場合、スキルを活かすことでこのワークフローを使用して、未知の顔にラベルを付けます。顔がわかると、別のアルゴリズムがすべての写真をスキャンして、現在既知の顔を特定できます。 強化 – 強化学習 (RL) は、トレーニングデータから学習する必要がないため、上記の学習システムとは異なります。代わりに、モデルは、明確に定義された環境のコンテキストにおける独自の経験から学習します。学習システムはエージェントと呼ばれ、エージェントは環境を観察し、ポリシーに基づいてアクションを選択および実行し、見返りに報酬を取得します。エージェントは、最終的にその以前の経験に基づいて、時間をかけてその報酬を最大化することを学習します。RL の詳細、またはその説明については、Amazon SageMaker […]

Read More

Cinnamon AI は、Amazon SageMaker マネージドスポットトレーニングで ML モデルのトレーニングコストを 70% 節約

開発者はモデルの予測を継続的に改善できるよう、絶えず機械学習 (ML) モデルのトレーニングと再トレーニングを行っています。データセットのサイズに応じて、モデルトレーニングジョブは数分から数時間、または数日かかることもあります。ML 開発は、複雑で費用のかかる反復的なプロセスになることがあります。コンピューティング集約型であるため、ML 開発のコンピューティングコストを低く抑えることは重要で、コスト削減はスケーラビリティを達成する上でのカギを握っています。 Amazon SageMaker は、ML モデルを大規模に構築・トレーニング・チューニングおよびデプロイするための完全マネージド型のサービスです。Amazon SageMaker のマネージドスポットトレーニングでは、Amazon EC2 スポットインスタンスをトレーニングに使用することで、トレーニングコストを最大 90% 節約できます。 EC2 スポットインスタンスは、ML トレーニングワークロードの計算コストを最適化するための優れた方法です。 Amazon EC2 の空きキャパシティを利用することでオンデマンドインスタンスよりも最大 90% の割引が可能です。特定のアベイラビリティーゾーン (AZ) で特定のオンデマンドインスタンスタイプのリクエストが急増すると、AWS は 2 分間の通知でスポットインスタンスを回収することがあります。 この記事では、Cinnamon AI が Amazon SageMaker マネージドスポットトレーニングを使用して、予算を増やすことなく、ML トレーニングコストを 70% 削減し、毎日のトレーニングジョブ数を 40% 増加させた方法について説明します。

Read More

Amazon SageMaker を使用した分散型 TensorFlow トレーニングの実行

TensorFlow は、複数のホストで複数の GPU を使用した分散型トレーニングを必要とするヘビーウェイトなディープニューラルネットワーク (DNN) の開発に広く使用されるオープンソースの機械学習 (ML) ライブラリです。Amazon SageMaker は、アクティブラーニングを使用したデータのラベル付けから、モデルの分散型トレーニング、トレーニングの進捗状況のモニタリング、訓練されたモデルの自動スケーリング可能な RESTful サービスとしてのデプロイメント、並列的な ML 実験の一元管理までの ML ワークフローをシンプル化するマネージドサービスです。 この記事では、Amazon SageMaker を使用した分散型 TensorFlow トレーニングに注目していきます。 コンセプトの概要 この記事における分散型トレーニングコンセプトの多くは、さまざまなタイプの TensorFlow モデル全体に広く該当するものですが、この記事ではCommon Object in Context (COCO) 2017 データセット での Mask R-CNN モデルの分散型 TensorFlow トレーニングに焦点を当てます。 モデル Mask R-CNN モデルはオブジェクトインスタンスセグメンテーションのために使用されるものであることから、このモデルは画像内の各オブジェクトインスタンスを区分するために、ピクセルレベルのマスク (シグモイドバイナリ分類) と、オブジェクトカテゴリでアノテーションが付けられた (SoftMax 分類) 境界ボックス (Smooth L1 回帰) を生成します。Mask R-CNN の一般的なユースケースには、自動運転車における認知、表面欠陥検出、および地理空間画像の分析などがあります。 この記事に Mask R-CNN […]

Read More

Amazon Textract が PCI DSS 認定を取得し、テーブルとフォームからさらに多くのデータの処理が可能に

Amazon Textract は、スキャンしたドキュメントからテキストとデータを自動的に抽出するだけではありません。テンプレート、設定、または機械学習の経験を必要とせず、単純な光学文字認識 (OCR) の域を超えて、テーブルのフィールドと情報に関するコンテンツも識別します。Intuit、PitchBook、Change Healthcare、Alfresco などのお客様は、すでに Amazon Textract を使用してドキュメント処理ワークフローを自動化し、数百万におよぶページを数時間で正確に処理しています。さらに、スマート検索インデックスを作成し、自動承認ワークフローを構築して、編集を必要とする可能性のあるデータにフラグを立てることによりドキュメントアーカイブルールへのコンプライアンスをより良いかたちで維持します。 本日、アマゾン ウェブ サービス (AWS) は、Amazon Textract が PCI DSS 認定を取得したことをご報告します。 この取得で、カード所有者のデータ (CHD) や機密認証データ (SAD) など、ペイメントカード業界のデータセキュリティ標準 (PCI DSS) の情報セキュリティ標準を必要とするあらゆるワークロードに、Amazon Textract を使用できるようになりました。Amazon Textract は HIPAA に適したサービスであるため、Amazon Textract で保護された健康情報 (PHI) ワークロードを処理することもできます。加えて、本日より AWS は新しい品質強化を開始し、テーブル (固定した行と列に編成された構造的なデータ) およびフォーム (キーと値のペアと、チェックボックスやラジオボタンなどの選択可能な要素として表される構造的なデータ) からさらに多くのデータを取得できるようになりました。 Amazon Textract は分割セルと結合セルなどの複雑なテーブルから、より多くのデータをより正確に取得できるようになりました。Amazon Textract は境界線が明示的に描かれていないテーブルであっても、折り返しを設定しているテキスト (複数行にわたって表示されるテキスト) のあるセルの行と列をより正確に識別します。Amazon Textract はさらに、同じページ上のテーブル、およびテーブル内に入れ子にされたキーと値のペアも含むドキュメントからフォームデータをより正確に取得します。こうした機能の強化は 2019 年 10 […]

Read More

Amazon Lex Conversation ログを使った、ユーザとのやり取りをモニタリングおよび改善

会話のインターフェースを提供する製品のオーナーにとって、それに対応する可視性やテレメトリーなしでユーザーエクスペリエンスを解釈し向上しようとするのは、目隠ししながら自動車を運転するのと同じだと言えるでしょう。ご使用になっているボットとユーザーの間のやり取りを理解することは重要です。やり取りの履歴に基づいて継続的な改善を行うことができます。こういった実用的な洞察は、ボットが行った会話をモニタリングすることで取得することが可能です。ユーザー入力のキャプチャーであれば、アプリケーションにカスタムロジックを書き加えることで実現できます。しかし、追加コードと関連するインフラストラクチャの構築や管理といった作業は、扱いが難しく作業時間も消費するものです。さらに、このカスタムロジックが、エンドユーザー側のレイテンシーを増加しないようにする必要もあります。 今回、Amazon Lex 用の Conversation logs の発表により、ボットとユーザー間のやり取りをネイティブに保存できるようになったことを、とても喜ばしく思います。これにより、テキスト入力は Amazon CloudWatch Logs に、音声入力 Amazon S3 にログ記録するよう定義できます。このログには、ユーザーからの入力とボットによる応答に加え、適用したインテントや取りこぼした発言に関する情報も記述されます。スロットの値としてキャプチャーされた機密データを保護するためには、スロットを難読化し、ログに対しその値をマスクすることもできます。 この会話ログは、定義済みのインテントにマップされていない発言を追跡するために利用できます。こういった取りこぼした発言により、ボットの設計を改善できるようになります。今回から、セッション全体の会話についてのトランスクリプションが利用可能になりました。会話の流れをより良く分析し、そのデザインを改善しながら、ユーザーエンゲージメントの向上をはかることができます。 今回の記事では、会話ログの有効化、機密を含むスロットの難読化、ボットに関する先進的なモニタリング機能のセットアップなどの方法を解説します。 ボットの構築 この記事では、自動車ローン向けボットをモデリングするために、次のような会話を使用します。 ユーザー: 自動車ローンの未払い残高を確認したいのですが。 エージェント: 承知しました、お客様のアカウント番号をお教えいただけますか? ユーザー: 12345678 です。 エージェント: 確認のため、SSN の最後の 4 桁をお伝えいただけますか? ユーザー: 1234 です。 エージェント: ご協力ありがとうございました。アカウント番号 12345678 の自動車ローンには、12,345 USD の残高があります。 ユーザー: どうもありがとう。 次のようなインテントを使い、AutoLoanBot (download) という名の Amazon Lex ボットを構築します。 ApplyLoan – 名前や SSN といった必要な情報を聞きだし、リクエストを新たに作成します。 PayInstallment – ユーザーのアカウント番号、ユーザーの […]

Read More

Amazon SageMaker Ground Truth を使って、セマンティックセグメンテーションのラベル付けを実行する際にオブジェクトを自動セグメント化する

Amazon SageMaker Ground Truth は、機械学習 (ML) 用の高精度なトレーニングデータセットをすばやく構築できるよう支援します。Ground Truth で、サードパーティおよび独自のラベル付けを行う人間の作業者に簡単にアクセスでき、一般的なラベル付けタスク用のビルトインのワークフローとインターフェースも提供できるようになります。さらに、Ground Truth では自動データラベル付けを使用して、ラベル付けのコストが最大 70% 削減します。自動データラベル付けとは、人間がラベルを付けたデータから Ground Truth をトレーニングし、サービスが独自にデータにラベルを付けることを学習するものです。 セマンティックセグメンテーションとは、画像内の個々のピクセルにクラスラベルを割り当てるなどのコンピュータービジョン ML の手法です。たとえば、移動中の車両が撮像した動画フレームで、クラスラベルに車両、歩行者、道路、信号機、建物、背景を含めることが可能です。画像内のさまざまなオブジェクトの位置を高い精度で理解することができるため、自律走行車やロボットの知覚システムの構築によく使用されます。セマンティックセグメンテーション用の ML モデルを構築するには、まずピクセルレベルで大量のデータにラベルを付ける必要があります。しかし、このラベル付けプロセスが複雑で、熟練したラベル付けの作業者とかなりの時間を要します。画像を正確にラベリングするのに最大 2 時間もかかる場合もあります。 Ground Truth ではセマンティックセグメンテーションのラベリングユーザーインターフェイスに自動セグメント機能を追加し、ラベル付けスループットと精度を向上し、かつ作業者の疲労を軽減することを目指しました。自動セグメント化ツールでは、最小限の入力だけで画像内の関心対象の領域に自動的にラベルを付けることができるため、タスクが簡素化します。これで、自動セグメントからの結果出力を受け入れる、元に戻す、または修正することができます。次のスクリーンショットは、ツールバーの自動セグメント化機能部分を強調し、画像内の犬をオブジェクトとしてキャプションしたことを示しています。この犬に割り当てられたラベルは Bubbles です。 この新機能で、セマンティックセグメンテーションタスクの作業が最大 10 倍早くなります。多角形をきっちり描画したり、ブラシツールを使って画像内のオブジェクトをキャプションする必要はなく、オブジェクトの最上部、最下部、左端、右端の 4 つの部分を描画するだけです。Ground Truth はこれら 4 つのポイントを入力すると、Deep Extreme Cut (DEXTR) アルゴリズムを使用して、オブジェクトの周りにぴったりとフィットするマスクを生成します。次のデモは、このツールでより複雑なラベル付けタスクのスループットを高速化する方法をご紹介しています。 まとめ この投稿では、セマンティックセグメンテーションと呼ばれるコンピュータービジョン ML の手法の目的と複雑さについてご紹介しました。自動セグメント化機能を使えば、作業者による最小限の入力で画像の関心領域のセグメンテーションを自動化でき、セマンティックセグメンテーションのラベリングタスクが高速化します。 いつものように、AWS では皆さんのフィードバックをお待ちしています。コメント欄よりご意見やご質問をお送りください。 著者について Krzysztof Chalupka は Amazon ML Solutions Lab […]

Read More

Amazon Sumerian および Amazon Lex を使用して AR/AI 車両マニュアルを作成する

自動車メーカーは、新しいコントロール、インターフェイス、インテリジェンスを車両に継続的に追加しています。これらの機能の使用方法を詳しく説明したマニュアルを公開していますが、これらのハンドブックは扱いにくいものです。それら数種類の言語の何百ものページで構成されているため、特定の機能に関する関連情報を検索することは困難です。紙ベースのマニュアルをビデオまたはモバイルアプリに置き換えようとしても、エクスペリエンスは向上していません。その結果、すべての所有者が自動車メーカーが提供するイノベーションすべてを知って利用できるわけではありません。 この投稿では、Amazon Sumerian およびその他の AWS のサービスを使用して、インタラクティブな自動マニュアルを作成する方法について説明します。このソリューションは、拡張現実、AI chatbot、および AWS IoT を通じて提供されるコネクテッドカーデータを使用します。これは包括的な段階的なチュートリアルではありませんが、論理コンポーネントの概要を提供します。 AWS のサービス このブログ投稿では、次の 6 つのサービスを使用しています。 Amazon Sumerianは、特別なプログラミングや3Dグラフィックの専門知識を必要とせずに、仮想現実 (VR)、拡張現実 (AR)、および 3D アプリケーションをすばやく簡単に作成および実行できます。作成された 3D シーンはワンクリックで公開し、Web、VR ヘッドセット、モバイルアプリケーションで配布できます。この投稿では、Sumerian を使用して、車両の内部と外部 (オプション) の両方の 3D モデルをレンダリングし、アニメーション化します。 Amazon Lex は、音声とテキストを使用して任意のアプリケーションに会話形式のインターフェースを構築するためのサービスです。Amazon Lex は、Amazon Alexaを強化するためのテクノロジーと同じテクノロジーを活用しています。Amazon Lex は、Alexaの パワーをすべての開発者が利用できるようにすることで、深層学習テクノロジーを普及させます。この投稿では、Amazon Lex を使用して音声コマンドを認識し、所有者から問い合わせられている機能を特定します。 Amazon Polly は、このテキスト読み上げサービスは、人の声のように聞こえる音声を合成するために、高度な深層学習テクノロジーを使用します。Amazon Polly を使用すると、まったく新しいカテゴリの音声対応製品を話し、構築するアプリケーションを作成できます。Amazon Polly は、さまざまな言語で多数の音声をサポートし、さまざまな国でアプリケーションを使用できるようにします。この投稿では、Amazon Polly を使用して Amazon Lex の回答をリアルな音声に発声しています。 Amazon DynamoDB は、任意の規模で […]

Read More

Amazon SageMaker Processing – 完全マネージド型のデータ処理とモデル評価

本日、フルマネージドインフラストラクチャで前処理、後処理、およびモデル評価のワークロードを簡単に実行できる、Amazon SageMaker の新機能、Amazon SageMaker Processing をリリースいたしました。 高精度な機械学習 (ML) モデルをトレーニングするにはさまざまな手順を踏む必要がありますが、中でもデータセットの前処理が最も重要となるでしょう。たとえば: 使用中の ML アルゴリズムに合う入力形式にデータセットを変換する、 既存の特徴をより表現力のある表現 (one-hot エンコーディングカテゴリ別特徴など) に変換する、 数値特徴を再スケーリングまたは正規化する、 高レベル特徴量エンジニアリングを行う (例: 住所を GPS 座標に置き換える)、 自然言語処理アプリケーションのテキストをクリーニングし、トークン分割する、 などなど! これらのタスクは、(とても大変な) データセットに対する特注スクリプトの実行と、後でトレーニングジョブで使用する処理済みバージョンの保存を伴います。ご想像のとおり、それらを手動で実行したり、オートメーションツールを構築およびスケールしたりする必要があることを考えると、ML チームは気が重くなります。後処理ジョブ (フィルタリングや照合など) やモデル評価ジョブ (さまざまなテストセットに対するモデルのスコアリング) についても同じことが言えます。 この問題を解決するために、私たちは Amazon SageMaker Processing を構築しました。それでは、詳細を説明しましょう。 Amazon SageMaker Processing のご紹介 Amazon SageMaker Processing には、データサイエンティストと ML エンジニアが Amazon SageMaker で前処理、後処理、およびモデル評価ワークロードを簡単に実行できる新式の Python SDK が導入されています。 この SDK では […]

Read More

Deep Graph Library が Amazon SageMaker で利用可能に

本日ここに、グラフニューラルネットワークを簡単に実装できるよう構築されたオープンソースライブラリ、Deep Graph Library が、Amazon SageMaker で利用可能になったことをお知らせします。 近年、自由形式のテキスト、画像、動画など、複雑なデータから詳細なパターンを抜き出すことができる、驚異的な性能の深層学習が世界に旋風を巻き起こしています。しかし、多くのデータセットはこれらのカテゴリーに当てはまらないため、グラフの方がわかりやすく表すことができます。 畳み込みニューラルネットワークや再帰型ニューラルネットワークのような、従来のニューラルネットワークのアーキテクチャは、そのようなデータセットに適していないことは直感的にも感じられ、新しいアプローチが必要となります。 グラフニューラルネットワークの初歩 グラフニューラルネットワーク (GNN) は、今日の機械学習におけるもっとも画期的な発展事項です。手始めに、これらの参考資料をご覧になるとよいでしょう。 GNN は、以下のような予測モデルのトレーニングに使用されています。 ソーシャルネットワーク。関連する利用者同士のつながりをグラフ化 推奨システム。顧客とアイテムの間のやり取りをグラフ化 化学分析。原子や結合をグラフ化して化合物のモデルを作成 サイバーセキュリティ。発信元と発信先の IP アドレスの接続状況をグラフ化で説明 その他多数のモデル ほとんどの場合、これらのデータセットは非常に大きく、部分的なラベル付けしかできません。ある個人から既知の不正を行う者への接続状況を分析することで、その個人が不正を行っている可能性を予測する、不正行為検出シナリオを考えてみましょう。この問題は、グラフノードの一部のみがラベル付けされる (「不正」か「正当」)、半教師あり学習タスクとして定義できます。これは大きなデータセットを手作業のラベル付けにより構築し、「線形化」して従来の機械学習アルゴリズムに適用するよりも良いソリューションになるはずです。 これらの問題に対処するためには、分野の専門知識 (小売、財務、化学など)、コンピューターサイエンスの知識 (Python、深層学習、オープンソースツール)、インフラストラクチャの知識 (トレーニング、デプロイ、モデルのスケーリング) が必要です。これらのスキルをすべてマスターしている人はごくわずかです。それが Deep Graph Library や Amazon SageMaker のようなツールが必要とされる理由です。 Deep Graph Library の紹介 2018 年 12 月に Github で初めてリリースされた Deep Graph Library (DGL) は Python のオープンソースライブラリーで、研究者や科学者がデータセットの GNN を迅速に構築、トレーニング、評価するのに役立ちます。 DGL は、PyTorch […]

Read More