Amazon Web Services ブログ

Category: Artificial Intelligence

Amazon SageMaker Studio: 機械学習のための初の統合開発環境

2019年12月3日、Amazon SageMaker Studioという機械学習のための初の統合開発環境(IDE)を提供できることを非常に嬉しく思います。 2017年に Amazon SageMaker がリリースされてからしばらく経ち、このサービスをご利用いただいているお客様の数は増加しています。機械学習開発ワークフローには反復的なプロセスが必要ですが、機械学習ツールが成熟していないために開発者は大変な思いをしてきました。従来のソフトウェア開発時に開発者が当たり前に使用する多くのツール(デバッガ、プロジェクトマネジメントツール、コラボレーション機能、モニタリングツールなど)は、まだ機械学習用には存在していないのです。

Read More

Amazon SageMaker Experiments – 機械学習モデルの整理、追跡、比較、評価

2019年12月3日、機械学習(ML)実験とモデルバージョンの整理、追跡、比較、評価を可能にする Amazon SageMaker の新機能である、Amazon SageMaker Experiments を発表できて非常にうれしく思います。 機械学習では非常に多くの反復プロセスを含みます。1つのプロジェクトの過程で、データサイエンティストと 機械学習エンジニアは、最大限の精度を求めて数千の異なるモデルを定期的に学習を行います。実際、アルゴリズム、データセット、および学習パラメーター(別名ハイパーパラメーター)の組み合わせの数は無限に存在します。それはまさに「干し草の山の中にある1本の針を探す」ということわざのように無駄骨を折る苦労を伴います。

Read More

AWS が機械学習をすべての開発者と BI アナリストの手に委ねている方法

本日、AWSは Amazon Aurora データベースのリレーショナルデータと Amazon S3 の非構造化データを使用して、機械学習 (ML) 予測をアプリケーションおよびビジネスインテリジェンス (BI) ダッシュボードに簡単に追加する新しい方法を発表しました。SQL (構造化クエリ言語) クエリにいくつかのステートメントを追加し、Amazon QuickSightで数回クリックするだけです。Aurora、Amazon Athena、および Amazon QuickSight は、Amazon SageMaker や Amazon Comprehend などの AWS ML サービスをお使いのアプリケーションから直接呼び出します。これにより、カスタム統合を構築したり、データを移動したり、別のツールを学習したり、複雑なコード行を記述したり、ML の経験を積んだりする必要なく、ML 予測をアプリケーションに簡単に追加できます。 これらの新しい変更により、洗練された ML 予測を SQL クエリとダッシュボードでより簡単に利用できるすることで、データベース開発者やビジネスアナリストがMLをより使いやすくアクセスしやすくなります。以前は、拡張して、本番環境でマネージしてサポートされる必要があるカスタムアプリケーションレベルのコードを書くのに何日も費やす可能性がありました。今では、SQL を書ける人なら誰でも、カスタムの「グルーコード」なしでアプリケーションで予測を作成して使用できます。 データにあふれた世界を理解する AWSは、それほど遠くない将来に、ほぼすべてのアプリケーションに ML と人工知能 (AI) が使用されると固く信じています。数万人のお客様が、データサイエンティストと開発者が大規模な ML モデルを迅速かつ簡単に構築、トレーニング、デプロイできるようにするフルマネージドサービスである Amazon SageMaker を通じて ML の恩恵を受けています。 たとえば、Amazon Comprehend のような使いやすい API を介してモデルを構築し、アプリケーションにインテリジェンスを追加するさまざまな方法がありますが、これらのモデルをデータベース、分析、ビジネスインテリジェンスレポートに組み込むことは依然として難しいものになっています。比較的単純なカスタマーサービスの例を考えてみましょう。Amazon Comprehend は、テキストのセンチメントをすばやく評価できます (ポジティブかネガティブか)。私がストアのカスタマーサービスページにフィードバックを残すとします。「あなたの製品は悪臭を放っているので、私は二度と買いません!」 […]

Read More

Amazon Aurora の新機能 – データベースから直接機械学習を使用する

機械学習により、データからより良いインサイトを得ることができます。しかし、ほとんどの構造化データはどこに保存されているのでしょうか? データベースに保存されています! 現在、リレーショナルデータベースのデータで機械学習を使用するには、データベースからデータを読み取り、機械学習モデルを適用するカスタムアプリケーションを開発する必要があります。このアプリケーションを開発するには、データベースとインターラクションして。機械学習を使用できるようにするためのスキルが必要です。これは新しいアプリケーションであり、パフォーマンス、可用性、およびセキュリティを管理する必要があります。 リレーショナルデータベースのデータに機械学習を適用することを簡単にすることができますか? 既存のアプリケーションでも可能ですか? 本日より、Amazon Aurora は、2 つの AWS Machine Learning サービスとネイティブに統合されます。 Amazon SageMaker。カスタム機械学習モデルを迅速に構築、トレーニング、デプロイする機能を提供するサービスです。 Amazon Comprehend。機械学習を使用してテキストのインサイトを見つける自然言語処理 (NLP) サービスです。 この新しい機能を使用すると、クエリで SQL 関数 を使用して、リレーショナルデータベースのデータに機械学習モデルを適用できます。たとえば、Comprehend を使用してユーザーコメントの センチメント を検出したり、SageMakerで構築されたカスタム機械学習モデルを適用したりして、お客様の「解約」のリスクを推定できます。 解約は「変化」と「ターン」を混ぜた言葉で、サービスの使用を停止するお客様を説明するために使用されます。 機械学習サービスからの追加情報を含む大規模なクエリの出力を新しいテーブルに保存したり、機械学習の経験を必要とせずにクライアントが実行する SQL コードを変更するだけで、アプリケーションでこの機能を対話的に使用したりできます。 最初に Comprehend を使用し、次に SageMaker を使用して、Aurora データベースからできることの例をいくつか見てみましょう。 データベース権限の設定 最初のステップは、次の使用したいサービスにアクセスするためのデータベース許可を付与することです。Comprehend、SageMaker、またはその両方。 RDS コンソール で、新しい Aurora MySQL 5.7 データベースを作成します。利用可能な場合、リージョンのエンドポイントの [Connectivity&security] タブで、[IAM ロールの管理] セクションを探します。 そこで、Comprehend と SageMaker をこのデータベースクラスターに接続します。SageMaker の場合、デプロイされた機械学習モデルの エンドポイント の Amazon リソースネーム […]

Read More

Amazon Textract および Amazon Comprehend を使用した NLP 対応検索インデックスの構築

 すべての業界の組織には、多数の物理的なドキュメントがあります。テーブル、フォーム、パラグラフ、チェックボックスなどの形式が含まれているとき、スキャンしたドキュメントからテキストを抽出することは困難な場合があります。組織は、光学式文字認識 (OCR) 技術を使用してこれらの問題に対応してきましたが、フォーム抽出およびカスタムワークフローにはテンプレートが必要です。 画像または PDF からテキストを抽出して分析することは、従来型の機械学習 (ML) および自然言語処理 (NLP) の問題です。文書からコンテンツを抽出するとき、全体的なコンテキストを維持し、情報を読み取り可能および検索可能な形式で保存することが必要になります。高度なアルゴリズムを作成するには、大量のトレーニングデータとコンピューティングリソースが必要です。完全な機械学習モデルを構築し、トレーニングするには、費用と時間がかかる場合があります。 このブログ投稿では、スキャンされた画像ドキュメントを保存および分析するための自動コンテンツ処理パイプラインとして、Amazon Textract および Amazon Comprehend で NLP 対応の検索インデックスを作成する方法を説明します。PDF ドキュメントの処理については、AWS サンプル github リポジトリを参照して Textractor を使用してください。 このソリューションでは、サーバーレステクノロジーとマネージドサービスを使用して、スケーラブルで費用対効果を高めています。このソリューションで使用されるサービスは次のとおりです。 Amazon Textract – スキャンしたドキュメントからテキストとデータを自動的に抽出します。 Amazon Comprehend – ML を使用して、テキストのインサイトと関係を見つけます。 Amazon ES with Kibana – 情報を検索して視覚化します。 Amazon Cognito – Amazon ES と統合し、Kibana へのユーザーアクセスを認証します。詳細については、Amazon Elasticsearch Service を使い始める: Kibanaのアクセス制御にAmazon Cognitoを使用する を参照してください。 Amazon […]

Read More

Amazon SageMaker マルチモデルエンドポイントを使用して推論コストを削減する

ビジネスでは、コホートやセグメントに基づくモデルではなく、ユーザーごとの機械学習 (ML) モデルをますます発展させています。個々のユーザーデータに基づき、数百から数十万のあらゆる場所からのカスタムモデルをトレーニングしています。たとえば、音楽ストリーミングサービスでは、各リスナーの再生履歴に基づくカスタムモデルをトレーニングし、音楽のおすすめをパーソナライズしています。タクシーサービスでは、各年の交通パターンに基づくカスタムモデルをトレーニングし、乗客の待ち時間を予測しています。 ユースケースごとにカスタム ML モデルを構築すると、推論の精度が向上するという利点がありますが、モデルのデプロイコストが大幅に増大するという欠点もあり、本番環境で多くのモデルを管理するのが困難となっています。このような課題は、同時にすべてのモデルにアクセスはしないがいつでも利用可能にしておく必要がある場合により顕著になります。Amazon SageMaker マルチモデルエンドポイントは、このような弱点に対応し、複数の ML モデルをデプロイする、スケーラブルでコスト効率の高いソリューションをビジネスに提供します。 Amazon SageMaker はモジュラー型のエンドツーエンドサービスで、大規模な ML モデルの構築、トレーニング、デプロイを容易にします。ML モデルはトレーニング後、完全マネージド型でリアルタイムの推論を低レイテンシーで実行可能な Amazon SageMaker エンドポイントにデプロイできます。単一のエンドポイントに複数のモデルをデプロイし、マルチモデルエンドポイントを使用する単一のサービングコンテナにより稼働させることが可能になります。エンドポイントと、その基盤となるコンピューティングインスタンスの利用率増加により、大規模な ML のデプロイ管理が容易になり、モデルのデプロイコストが低下します。 本記事では Amazon SageMaker マルチモデルエンドポイントを紹介し、この新機能を導入して XGBoost を使用することで、個々の市場セグメントの利用料金を予測する方法を説明します。本記事では、マルチモデルエンドポイントで 10 個のモデルを実行する場合と、個別のエンドポイント 10 個を使用する場合との比較を行いました。この結果、以下の図に示すように、月あたり 3,000 USD を節約できました。 マルチモデルエンドポイントは、数百から数千のモデルに規模を変えて容易に対応できます。また本記事では、エンドポイントの設定とモニタリングの考慮事項も検討し、1,000 個のモデルでコストを 90% 以上節減した例についてハイライトします。 Amazon SageMaker マルチモデルエンドポイントの概要 Amazon SageMaker により、冗長性の高い複数のアベイラビリティーゾーンで、自動スケーリングの Amazon ML インスタンスにモデルを 1 クリックでデプロイすることが可能になります。インスタンスのタイプと、希望する最大数および最小数を指定すれば、Amazon SageMaker が残りを引き受けます。インスタンスを立ち上げ、モデルをデプロイし、安全な HTTPS エンドポイントを設定します。低レイテンシー、高スループットの推論を実行するため、アプリケーションはこのエンドポイントへの API 呼び出しを含む必要があります。このアーキテクチャーにより、モデルの変更でアプリケーションのコード変更が不要になるため、アプリケーションに新しいモデルを数分で統合できます。Amazon […]

Read More

Amazon Forecast で 自由選択した分位数での予測作成のサポートを開始

Amazon Forecast で、自由に選択した分位数で予測を作成できるようになったことをお知らせいたします。 re:Invent 2018 で発表され、2019 年 8 月から一般公開されている Forecast は、機械学習 (ML) により、それまでの機械学習の経験を待つことなく、非常に正確な予測を作成できる完全マネージド型サービスです。Forecast は、製品需要の見積り、サプライチェーンの最適化、エネルギー需要の予測、財務計画、人事計画、クラウドインフラストラクチャ使用状況の算定、トラフィック需要の予測など、さまざまなユースケースに使用できます。 Forecast は、Amazon.com で使用されているものと同じ技術に基づいており、完全に管理されたサーバーですので、プロビジョニングするためのサーバーはありません。また、使用した分だけお支払いいただくようになっており、最低料金や前払い金を求められることはありません。Forecast を使用するために必要なことは、予測対象の履歴データをご提供いただくことだけです。オプションとして、予測に影響を与えると思われる追加データもご提供ください。後者には、価格、行事、天候など、時により変化するデータと、色、ジャンル、リージョンなどカテゴリに関するデータの、両方が含まれます。このサービスは、お手元のデータに基づいて機械学習モデルを自動的にトレーニングし、デプロイして、予測をダウンロードするためのカスタム API を提供します。 ポイント予測 (p50) を作成する他のほとんどの予測ソリューションと異なり、Forecast は、10% (10p)、50% (50p)、90% (90p) の 3 つのデフォルト分位数で確率的予測を作成します。ビジネスにおける資本コスト (過大予測) と顧客需要の不足 (過小予測) のトレードオフに応じて、ご自身のビジネスニースに合った予測を選択できます。10p 予測では、真正値は 10% 予測値よりも低いことが予想されます。投資資本のコストが高い場合 (例:製品在庫が過剰)、分位数 p10 の予測は、比較的少数の商品を注文するのに役立ちます。これと同様に、p90 予測では、真正値は 90% 予測値よりも低いことが予想されます。顧客需要が失われた結果、収益が大きく損なわれたり、カスタマーエクスペリエンスが低下したりした場合は、p90 予測がより役立ちます。詳細については予測精度の評価を参照してください。 Forecast でサポートされている既存の 3 つの分位数は便利ですが、2 つの制約があります。第一に、固定値である分位数は、特定のユースケースの要件に、常に合致するとは限りません。例えば、すべてのコストで顧客需要を満たすことが必須である場合は、p99 予測のほうが p90 より便利でしょう。 第二に、Forecast はデフォルトで常に 3 […]

Read More

Amazon Rekognition カスタムラベルの発表

本日、アマゾン ウェブ サービス (AWS) は、Amazon Rekognition カスタムラベルを発表しました。これは Amazon Rekognition の新機能で、お客様が独自の特別な機械学習 (ML) ベースの画像分析機能を構築し、特別なユースケースに統合する固有のオブジェクトやシーンにを検出します。たとえば、画像から機械部品を検出するために Amazon Rekognition を使用するお客様は、小さなセットのラベル付きの画像でモデルをトレーニングして、MLの専門知識なしでも「ターボチャージャー」や「トルクコンバーター」を検出できるようになります。モデルを最初からトレーニングすることには、特別な機械学習の専門知識と何百万の高品位のラベル付き画像が必要ですが、その代わりにお客様は Amazon Rekognition を使用してカスタムラベルを使用して、独自の画像分析ニーズのために最先端のパフォーマンスを達成することができるようになりました。 Amazon Rekognition カスタムラベルをより良く理解するために、このサービスの新機能をしようする方法の例を順番に見ていきましょう。 自動車修理工場は Amazon Rekognition ラベル検出 (オブジェクトとシーン) を使用して、在庫の機械部品を分析し、ソートすることができます。これらのすべての画像について、 Amazon Rekognition は正常に「機械部品」を返します。 Amazon Rekognition カスタムラベルを使用して、お客様は独自のカスタムモデルをトレーニングして、ターボチャージャーやトルクコンバーターなどの特定の機械部品を識別できます。最初に、お客様は識別したいそれぞれの特定の機械部品のために、わずか 10 個程度のサンプル画像を収集します。 このサービスコンソールを使用して、お客様はこれらの画像をアップロードして、ラベル付けすることができます。 この段階では、機械学習の専門知識は必要ありません。お客様はコンソール内のプロセスの各ステップを通じて導かれます。 データセットが準備でき、完全にラベル付けされると、お客様は Amazon Rekognition カスタムラベルをワンクリックだけで動作させることができます。Amazon Rekognition は各ユースケースに対して、自動的に最も効率的な機械学習技術を選択します。 トレーニングを完了すると、お客様は仮想化にアクセスして、各モデルのパフォーマンスを確認して、それらのモデルをさらに向上する方法に対する助言を得ることができます。 当社の例の自動車修理工場では、大規模な画像処理のための完全マネージド型の使用が簡単な API ビルドを使用して、画像の分析を開始して、名前で特定の機械部品を検出したり、在庫管理を自動化することができるようになりました。 Amazon Rekognition オブジェクトとシーンの検出では「機械部品」を返す一方で、いくつかのラベル付きの画像でトレーニングされた Amazon Rekognition カスタムラベルは、「ターボチャージャー」、「トルクコンバーター」、および「クランクシャフト」を返します。 NFL や […]

Read More

Amazon Lex の感情分析を用いた会話体験の設計

効果的な会話をするには、感情を理解し、適切に対応することが重要です。コールセンターでは、不満を抱えた顧客と話すときには、たとえば「お手数をお掛けして申し訳ございません」といった簡単な謝辞が役立つこともあります。 感情を理解することは、人間のエージェントに電話を代わってサポートを引き継ぐタイミングを判断するのにも役立ちます。 このような会話の流れをボットで実現するには、ユーザーがあらわにした感情を検出し、適切に対応する必要があります。以前は、Comprehend API を使用してカスタム統合を構築する必要がありました。この記事の執筆時点では、Amazon Lex で感情をネイティブに判断できるようになっています。 本稿では、ユーザーの感情を使用して会話の流れをより適切に管理する方法を説明します。 ボットを構築し、ユーザーの感情に基づいて応答を更新するロジックを追加し、エージェントへの引き継ぎを設定する手順を説明します。 ボットを構築する 次の会話を使用して、ボットをモデル化します: ユーザー: 荷物はいつ到着しますか? とても遅いのですが。 エージェント: ご不便をおかけして申し訳ございません。 追跡番号をお教えいただけますか? ユーザー: 21132 です。 エージェント: 確認いたしました。11 月 27 日にご自宅に到着いたします。 ユーザー: 分かりました、ありがとう。 それでは、配達ステータスを追跡し、配達日を変更する目的で、Amazon Lex ボットを構築しましょう。CheckDeliveryStatus インテントは、追跡番号情報を引き出し、配達日を返します。ChangeDeliveryDate インテントは、配達日を新しい日付に更新します。本稿では、追跡番号と配達日でデータベースを管理しています。AWS Lambda 関数を使用して配達日を更新できます。 ボットで感情分析を有効にするには、次の手順を実行します: Amazon Lex コンソールで、該当のボットをクリックします [Settings] の中から [General] を選択します [Sentiment Analysis] では [Yes] を選択します [Build] をクリックして新規ビルドを作成します ロジックを追加して応答を変更する ボットをセットアップしたので、ユーザーの感情に反応するロジックを追加します。CheckDeliveryStatus 内のダイアログのコードフックは、感情スコアを検査します。否定的な感情のスコアが特定のしきい値を超えている場合、追跡番号の入力を求めるときに、「ご不便をおかけして申し訳ございません」などの謝辞を挿入できます。以下の Lambda コードスニペットをご覧ください:   if (negativeSentimentVal […]

Read More