Amazon Web Services ブログ

Category: Artificial Intelligence

オンプレミス環境から Amazon SageMaker を利用する

Amazon SageMaker は、機械学習におけるデータ準備・開発・学習・モデル変換・デプロイ、これら全体のパイプラインをサポートするマネージドサービスです。SageMaker の利用を検討する際に、これらの全てを SageMaker に移行しなければならないのかというと、そうではありません。例えば、開発のみを SageMaker の Jupyter Notebook で行うことや、学習・デプロイのみを SageMaker で行うことも可能です。この特性を活かせば、オンプレミスに機械学習環境を保有しているユーザが、既存のオンプレミス環境をなるべく活用し、追加のリソースが必要な部分に SageMaker を利用することができます。

Read More

Amazon SageMaker に独自のハイパーパラメータ最適化アルゴリズムを持ち込む

このブログ記事では、Amazon SageMaker でモデルをチューニングするためのカスタムの最先端のハイパーパラメータ最適化 (HPO) アルゴリズムを実装する方法について説明します。Amazon SageMaker には HPO アルゴリズムが組み込まれていますが、独自の HPO アルゴリズムを使用するための柔軟性があります。選択した HPO アルゴリズムを組み込むためのフレームワークを提供します。けれどもこれを実行する前に、いくつかの基本事項を確認しましょう。 フレームワークに関係なく、どのような機械学習 (ML) パイプラインでも、4 つの一般的な手順は、構築、トレーニング、チューニング (調整)、そしてデプロイです。構築段階では、データを収集し、マッサージし、そして ML トレーニングのために準備し、そしてアルゴリズムをゼロから記述するか、または一般的な ML フレームワークを使用して記述します。次に、準備されたデータをアルゴリズムで指し示し、何らかのパフォーマンス測定基準 (検証精度など) を段階的に改善することによってモデルをトレーニングします。モデルを望ましいレベルの精度にトレーニングしたら、より大きな ML アーキテクチャで使用するためにホストするか、デプロイする準備が整います。トレーニングを開始する前に、各アルゴリズムは、アルゴリズムのさまざまな側面を定義するハイパーパラメータと呼ばれる値のセットから開始します。たとえば、Amazon SageMaker の組み込みアルゴリズムとしても提供されている一般的な Xgboost (Extreme Gradient Boosted Trees の略) アルゴリズムは、モデルをトレーニングする前に以下のパラメータを設定する必要があり、そしてデータと共に、トレーニングの実行方法、およびモデルの最終的な精度を決定します。 パラメータ名 パラメータタイプ 推奨範囲 alpha 連続 MinValue: 0, MaxValue: 1000 colsample_bylevel 連続 MinValue: 0.1, MaxValue: 1 colsample_bytree 連続 MinValue: 0.5, MaxValue: […]

Read More

新しい認定資格「AWS Certified Machine Learning – Specialty」で認定機械学習開発者になる

2018 年 11 月に、このブログで、Amazon のエンジニアを訓練するために使用されるものと同じ機械学習 (ML) コースが、AWS を通してすべての開発者にご利用いただけるようになったことをお知らせしいたしました。本日は、AWS を使用して機械学習モデルを構築、トレーニング、調整、デプロイする能力を強化および検証する方法があることをお知らせいたします。 AWS トレーニングと認定は、新しい AWS Certified Machine Learning – Specialty 認定の提供を発表いたします。この新しい試験は、特定のビジネス上の問題に対して ML ソリューションを設計、実装、デプロイ、保守する能力を検証したい開発者およびデータサイエンティストのために AWS の専門家によって作成されました。さらに、特定のビジネス上の問題に適した ML アプローチを選択して正当化し、ML ソリューションを実装するのに適切な AWS のサービスを特定し、スケーラブルでコスト最適化された信頼性の高い安全な ML ソリューションを設計および実装する能力を検証します。AWS トレーニングと認定では、ML および人工知能 (AI) サービス、特に Amazon SageMaker、および Amazon EMR、AWS Lambda、AWS Glue、Amazon S3 などのその他のサービスの使用に関して 1 年以上の実務経験があることをお勧めしています。また、受験者がアソシエートレベルの認定またはクラウドプラクティショナー認定を取得していることも推奨されますが、必須ではありません。 AWS の機械学習担当副社長である Swami Sivasubramanian から、この成長分野でのニーズについての彼の考えを聞く機会がありました。「顧客は機械学習の分野でもっと熟練した人材が必要であると言っており、これはアマゾン内でもよく知られている問題です。そのため、開発者を機械学習についてトレーニングするための社内教育の開発に大きな投資をしました」と、彼は言いました。「AWS トレーニングと認定は、同じリソースを顧客に提供することで、顧客がスタッフのスキルを開発および検証し、AWS で発展している AI/ML スイート、およびこのテクノロジが組織や世界経済にもたらす変革の効果を最大限に活用できるようにします。」 ML モデルを構築、トレーニング、調整、デプロイする能力により、新しいビジネスアイデアの発案、新しい雇用機会、新しい顧客体験が生まれます。始める準備はできていますか? 次のステップ […]

Read More

Amazon ConnectとSalesforce Service Cloudによる自動化されたAIエクスペリエンスの構築

昨年我々 は Salesforce のAmazon Connect CTIアダプタの最初のリリースを発表しました。我々 は、多くの企業のお客様が革新的な顧客体験を提供するこのインテグレーションを活用するのを見てきました。お客様からのフィードバックに基づいて、以下の追加機能を備えた CTI アダプタのバージョン 2(訳注)もすでにリリースされています: 訳注)本日時点で最新のCTIアダプタのバージョンは3.1です。 Salesforce 画面ポップアップの機能追加:Caller IDに加え、Amazon Connectの問い合わせフローで設定したコンタクト属性に基づいてポップアップさせる機能をサポート。 Salesforce オムニチャネルのサポート:Amazon Connectの音声チャネルをSalesforceチャット、電子メール、SMS チャネルと連携させることが可能に。 ロギングと録音のサポート:自動的にAmazon Connectの通話をログに記録し、Salesforce の通話記録に表示します。 Lambdaによるデータ活用:事前に構築済みのLambdaファンクションを使うことによってSalesforceの顧客データをカスタマーエクスペリエンスの向上のために活用することが出来ます。 SSO/SAML サポート:シームレスなシングル サインオンをAmazon Connectと Salesforce で有効に出来ます。 Aamzon Connectをはじめてセットアップする場合は、こちらのgetting started guideをご覧ください。また、CTIアダプタインストールガイド ではSalesforce AppExchangeのCTIアダプタの設定方法についてご案内しております。本ブログでは、作成済みのAamzon Connectインスタンスに対して設定済みのCTIアダプタがSalesforceインスタンスにセットアップされていることを前提にしております。また、Amazon Lex ボットのセットアップについての一定の知識も前提にしております。 CRMエージェントルーティングによる自動化されたAIエクスペリエンスの構築 あなたは小規模な再生可能エネルギー関連企業におけるコンタクトセンターの責任者だとしましょう。そのコンタクトセンターでは、エージェントはセールスについてとサービスについての両方の問い合わせを受けることとします。両方の問い合わせを受けるため、エージェントは顧客が問い合わせをしている理由を知る必要があり、また、ケースや連絡先情報のようなキーとなる情報がスクリーンにポップアップする必要があります。 Amazon Connectインスタンスでは、Amazon Lex ボットを活用したシンプルな問い合わせフローを設定します。この問い合わせフローは、顧客が問い合わせをしている理由、つまりインテントとしてAmazon Lexに定義するもの、が何かを尋ねるためのものです。顧客の言葉に応じて、Amazon Lexはその言葉を定義済みのインテントの一つにマッチさせます。セールスについての問い合わせか、サービスについての問い合わせかが確定したら、ケース番号を尋ねてそれをスロットに格納します。ボットがデータを収集したら、Amazon Connectはそれをその顧客の既知の何らかの情報とともにスクリーンにポップアップし、エージェントに伝えます。 初めのステップは二つのAmazon Lexボットの作成です:GetCustomerCallReasonとGetCaseNumberです。GetCustomerCallReasonは二つのインテントを持っています:SalesCallとSupportCallです。いずれのインテントについても、それぞれの問い合わせの理由についての発話をこれらのインテントにあてはめたいと思うでしょう。以下のスクリーンショットはそれぞれのインテントについての作り方を示すものです。 SalesCall インテント   SupportCall インテント これらのボットとインテントの名前は問い合わせフローの中で参照しますので、上の図と同じ名前で作成するようにしましょう。つぎに、Amazon LexボットGetCustomerCallReasonを作成し、発行します。ここで、prodというエイリアスを使用しました。 […]

Read More

Amazon Lex を組み合わせた Amazon Connect でダイヤルボタンの数字選択と発話入力を使う

あなたは公共の場所に座っていて、電話でカスタマーサポートに問い合わせる必要があるとします。あなたは移動中で、予約の確認か変更をしたい、もしくは口座の残高照会をする必要があるかもしれません。そしてあなたはアカウントのパスワードをリセットする必要があります。なぜならあなたはいつも電話ではなくタブレットから自身のアカウントにアクセスしているためです。私たちはみなそうしてきました。 そこで、あなたはカスタマーサポートに電話をかけます。しかし、あなたが公共の場所にいて機密の個人情報を入力したいとき、それを声に出すことは安全ではないかもしれません。あなたのまわりの誰もがあなたが話すことを聞こえるからです。もし、あなたがまわりの騒音の中で話そうとするときは特にそうです。 さて、あなたが喜ぶために、カスタマーサポートがあなたの個人情報をダイヤルボタンを使って数字入力できるようにすることを想像してみてください。あなたは何も言う必要はありません。 Amazon Lex のチャットボットを組み合わせた Amazon Connect は、問い合わせフローを使用した場合に顧客がキーパッドを押した数字を入力としてキャプチャーできます。Amazon Lex はキーパッドで押された数字をプッシュ信号 (DTMF) として解釈します。Lex はあなたが発話を話すときと同じ方法で、その入力に基づいてインテントと一致させます。これにより、顧客がコンタクトセンターと対話する柔軟性が向上します。これはまた、風邪のためか前の歯医者の予約によるためのどちらでも、話すことが難しい誰にとってもより容易になります。 お客様は、キーパッドに個人情報やアカウント番号などの機密情報を入力する方法を選択できるようになり、Amazon Lex の背後にある自然言語理解エンジンを使用して Amazon Connect を通じて Amazon Lex ボットと会話できるようになりました。 このブログポストでは、Amazon Connect の問い合わせフローの中で使うための Amazon Lex のボットを作成する方法を説明します。あなたも、リアルタイムで私のバージョンを試すことができます。 概要 このソリューションは以下のタスクを含みます。 Amazon Lex のボットを作成する ― 名前を指定し、ボットのその他設定を選択する ボットを構成する―ボットがどのように動くかを定義するために設定を更新する。これは以下のステップを含みます。 インテントを作成する ― インテントとは、口座残高の取得など、お客様が実行したいアクションです。ボットは1つ以上のインテントを持つことができます。 スロットを追加する ― スロットは、顧客が意図を満たすために提供しなければならないデータを定義します。 インテントを構成する ― 入力に基づいて、顧客の意図に一致する発話とスロットのコレクションを選択し、次に何が起こるかを決定します。 ボットのエラーハンドリングを構成する ― 呼び出し元の発話が理解できない場合など、ボットがエラーを処理する方法を設定します。 ボットをビルド、テストする ― ボットが意図したとおりに動くか確認します。 ボットを公開し、エイリアスを作成する ― ボットを公開し、対話を可能にします。 […]

Read More

Amazon Elastic Inference を使ったモデルサービング

 Amazon Elastic Inference (EI) は、Amazon EC2 および Amazon SageMaker インスタンスに低コストの GPU アクセラレーションをアタッチできるようにするサービスです。EI は深層学習推論の実行コストを最大 75% 削減します。Model Server for Apache MXNet (MMS) は、大規模な推論のための MXNet および ONNX ベースのモデルのデプロイメントを可能にします。このブログ記事では、Elastic Inference Accelerator (EIA) がアタッチされた汎用 EC2 インスタンスで実行される MMS の使用について掘り下げていきます。 Model Server for Apache MXNet (MMS) とは? MMS はオープンソースのモデルサービングフレームワークで、大規模な推論のための深層学習モデルをサーブするタスクをシンプル化するように設計されています。MMS は、Apache MXNet を使用して深層学習モデルを訓練した後、本番環境で大規模な推論のために訓練済みモデルをデプロイすることを容易にします。以下のアーキテクチャ図は、標準的な MMS のスケーラブルアーキテクチャを示しています。 Amazon Elastic Inference とは? 深層学習アプリケーションでは、推論がアプリケーションのコンピューティングコストの約 90 パーセントを占めています。推論は GPU […]

Read More

Amazon SageMaker Ground Truth ラべリングジョブに、加わったデータラべリングサービス 2 社を使用する

Amazon SageMaker Ground Truth のラベリングジョブに使用できるデータラベリングサービスで、さらに次の 2 つのサービスが増えることになりました。 iMerit の米国を拠点とするワークホースによるデータラベリングサービス Startek, Inc によるデータラベリングサービス AWS Marketplace に加わったこの新しいリスティングは、現存する iMerit のインドを拠点とするワークフォースリスティングを補完するもので、合計 3 つのオプションが提供されることになります。 iMerit では今後、データラベリングを専門とするフルタイムの米国ベーススタッフを提供することになりました。同社の画像ラベリング機能には、分類、枠どり、画像分割、キーポイント、ポリゴン、ポリラインなどがあります。同社のテキストラベリング機能には、英語およびスペイン語の両言語における要素抽出と分類があります。 StarTek はビジネスプロセスのアウトソーシング企業で、データラベリングサービスを提供します。StarTek は株式公開企業 (NYSE: SRT) で、同社のワークフォースは、フィリピン、ホンジュラス、インド、ブラジル、ジャマイカに展開しています。同社の画像ラベリング機能には、分類、枠どり、画像分割、キーポイント、ポリゴン、ポリラインなどがあります。同社のテキストラベリング機能には、英語での要素抽出と分類があります。 Amazon SageMaker Ground Truth は、re:Invent 2018 で立ち上げられました。これは機械学習向けに精度の高いトレーニングデータセットを構築するのに役立つサービスです。詳細については立ち上げブログをご覧ください。Ground Truth のラベリングジョブを設定する際、ラベリングタスクを自社のワーカー、Amazon Mechanical Turk のパブリックワーカー、または AWS Marketplace のリストに掲載されているベンダーのいずれかに送信できます。 お客様は事前承認されたベンダーのいずれかにデータラベリングタスクを割り当てることが可能で、これらのベンダーは、Amazon が機密保持、サービス保証、特殊スキルなどの面で綿密に調査を行った企業です。こうしたベンダーはデータセキュリティ、物理的施設へのアクセス制限、セキュアなデータ送信などに関する特定の要件を満たしているかによって承認されます。承認されたベンダーが承認後も要件を満たしていることを確認するため、定期的にセキュリティに関する監査を行います。 通常、適切なベンダーを見つけ、その後契約を結ぶのは、時間を要する面倒な作業です。Ground Truth を活用することで、ベンダーとの作業はシンプルになり、その工程も AWS Marketplace を通してわずか数クリックするだけとなります。すべてのベンダー関連の料金は AWS Marketplace リスティングを通じて、AWS の請求書に直接記載されます。ここでは、Ground Truth […]

Read More

Amazon SageMaker 推論パイプラインと Scikit-learn を使用して予測を行う前に入力データを前処理する

Amazon SageMaker を使用すると、開発者やデータサイエンティストは大規模な機械学習 (ML) モデルを構築、トレーニング、調整、デプロイすることができます。目に見えないデータのリアルタイム予測またはバッチ予測のためにトレーニング済み ML モデルをデプロイできます。推論と呼ばれるプロセスです。ただし、ほとんどの場合、未加工の入力データは前処理する必要があり、予測で直接使用することはできません。これは、ほとんどの ML モデルが事前に定義された形式のデータを想定しているため、ML モデルでデータを処理するには、まず未加工データをクリーンアップして形式を設定する必要があるためです。 このブログ記事では、入力データの前処理に Amazon SageMaker の組み込みの Scikit-learn ライブラリを使用し、次に予測に Amazon SageMaker の組み込みの Linear Learner (線形回帰) アルゴリズムを使用する方法を説明します。Amazon SageMaker の推論パイプライン機能を使用して、ライブラリとアルゴリズムの両方を同じエンドポイントにデプロイするので、未加工の入力データを直接 Amazon SageMaker に渡すことができます。また、ML のワークフローをモジュール化し、トレーニングと推論の間で前処理コードを再利用して開発のオーバーヘッドやエラーを削減する方法も示します。 ここでの例 (GitHub でも公開されています) では、UCI 機械学習リポジトリからの abalone (アワビ) データセットを使用します。このデータセットには、性別、長さ、直径、高さ、殻の重さ、身の重さ、全体重、内臓の重さ、年齢など、アワビ (貝類の一種) に関するさまざまなデータが含まれています。  アワビの年齢を測定するのは時間がかかる作業であるため、アワビの年齢を予測するモデルを構築することで、物理的測定のみに基づいてアワビの年齢を推定することができ、アワビの年齢を手動で測定する必要がなくなります。 これを実現するために、まず Amazon SageMaker 組み込みの Scikit-learn ライブラリを使って簡単な前処理を行います。未加工のアワビデータに、SimpleImputer、StandardScaler、OneHotEncoder の変換器を使用します。これらは Scikit-learn の前処理ライブラリに含まれる一般的に使用されるデータ変換器であり、データを ML モデルに必要な形式に処理します。  次に、処理したデータを使用して、Amazon SageMaker の Linear […]

Read More

Amazon SageMaker に組み込みの物体検出アルゴリズムと AWS DeepLens を使用してエッジで鳥の種を識別する

カスタムの物体検出は、MRI での腫瘍の発見、病気に罹った農作物の特定、鉄道駅ホームの監視など、さまざまな産業やユースケースにとって重要な要素となっています。このブログ記事では、アノテーションが付けられた公開データセットに基づいて鳥を識別します。このタイプのモデルは、さまざまな方法で使用できます。建設プロジェクトの環境調査の自動化で使用したり、バードウォッチングの時に鳥愛好家が使用したりすることができます。また、このモデルを実用的な例として利用し、独自のユースケースの新しいアイデアを生み出すこともできます。 この例では、Amazon SageMaker が提供している組み込みの物体検出アルゴリズムを使用します。Amazon SageMaker は、エンドツーエンドの機械学習 (ML) プラットフォームです。組み込みアルゴリズムを使用することで、開発者は TensorFlow や MXNet などの低レベルの ML フレームワークの使用に関する専門知識を必要とせずに機械学習を加速させることができます。モデルは、Amazon SageMaker の完全に管理されたオンデマンドトレーニングインフラストラクチャでトレーニングします。AWS IoT Greengrass を使用すると、トレーニング済みモデルをクラウドまたはエッジで簡単にホストすることができます。 カスタムの物体検出をエッジで使用する方法を示すために、トレーニング済みモデルを開発者向けの世界初の深層学習対応ビデオカメラである AWS DeepLens にデプロイする方法も示します。AWS DeepLens により、開発者は文字どおり完全にプログラム可能なビデオカメラ、チュートリアル、コード、および深層学習スキルを向上させるよう設計された事前トレーニング済みのモデルを使って深層学習を利用できます。 次の図は、鳥の識別ソリューションの構築方法の概要を示しています。 データセットの理解 CUB 200-2011 鳥類データセットには、200 種の鳥の種にわたる 11,788 枚の画像が含まれています (元の技術レポートはこちらにあります)。それぞれの種には約 60 枚の画像が付属しており、一般的なサイズは約 350 ピクセル × 500 ピクセルです。鳥の部分のアノテーションとして、バウンディングボックスが提供されています。推奨されるトレーニング/テストの分割は与えられますが、画像サイズデータは与えられていません。 画像データセットの準備 Amazon SageMaker の物体検出アルゴリズムに画像データを提供する最も効率的な方法は、RecordIO 形式を使用することです。MXNet には、データセット用の RecordIO ファイルを作成するための im2rec.py というツールがあります。このツールを使用するには、一連の画像を記述するリストファイルを用意します。 物体検出データセットでは、Amazon SageMaker は、バウンディングボックスを、フル画像に対するボックスのコーナーの比率である […]

Read More

Newstag は AWS の AI 言語サービスを使用して、世界の動画ニュースがより多くの人々に届けます

スウェーデンのスタートアップ、Newstag では人工知能 (AI) を使用し、世界中の主要なニュースプロバイダーから集めたニュースをカスタマイズした動画ニュースチャンネルを制作しています。同社の使命は、人々や組織が最新の多様な情報を活かし、自らの可能性を広げられるよう支援することです。Newstag では世界中から集めた同社の顧客向け動画ニュースがより多くの人々に届くよう、各動画のリッチメタデータを制作しています。Newstag では Amazon Transcribe、Amazon Translate、Amazon Comprehend を使用することにより、動画からメタデータを抽出し、制作するという膨大な手作業を要するこのプロセスを自動化することに成功しました。AWS の各種サービスを組み合わせて使用することで、Newstag では従来の 10 倍に相当する量の動画メタデータを制作できるようになったのです。 「人々は自分たちの見るニュースを選びたがっていると、私たちは感じています。顧客自身が関連するストーリーを取捨選択できるようにすること、当社の使命を遂行するのに、このことが極めて重要であると私たちは考えます」と Newstag 社 CTO、Mats Ekholm は述べています。これを現実にするため、Newstag ではパーソナライズされた動画ニュースチャンネルを作成するのに顧客自身が選択できるタグを開発しました。以下のスクリーンショットでは顧客が Newstag でこれらのタグをどのように選択するかについて解説しています。 一日に 1,000 本以上の動画を提供するため、Newstag の編集スタッフは長い時間をかけてコンテンツへのタグ付けを行っていました。その作業には複数の言語を要し、手作業で行わなければなりませんでした。タグの多くは表題、簡単な説明、そして一部のメタデータで構成されています。同社は需要に応えようと奮闘しながらシンプルでコスト効率が良く、展開しやすいソリューションを探しました。AWS で事前トレーニングを施した機械学習 (ML) サービスを使用することで、Newstag は AI に関する経験なしでも、AI を使用してこの問題を解決したのです。 まず、Newstag は Amazon Transcribe を使用して、Amazon Simple Storage Service (S3) に格納された動画音声をサポート言語でテキスト化します。続いて、テキスト化された英語以外のデータ、その他の表題、説明、または動画と共に元々提供されたキーワードに Amazon Translate を適用して正確な英語訳を作成します。最後に、テキストコンテンツを分析してインサイトを提供する機械学習サービスである Amazon Comprehend を使用して、入手できてる英語のテキストすべてから、題を抽出します。組織、人々、場所、ロケーションなど、名前の付けられた題は、顧客が興味のあるコンテンツを見つけやすくするための正確なタグの作成に使用されます。 「手作業で処理していた頃は 1 時間あたり 3 […]

Read More