Amazon Web Services ブログ

Category: Amazon SageMaker

Amazon SageMaker RL で継続的な学習を使用してコンテキストバンディットを強化する

Amazon SageMaker は、開発者やデータサイエンティストがあらゆる規模の機械学習モデルを短期間で簡単に構築、トレーニング、デプロイできるようにするモジュラー式完全マネージド型サービスです。 トレーニングモデルは、組み込みの高性能アルゴリズム、構築済みのディープラーニングフレームワークのセットや、独自のフレームワークを使用して、迅速かつ簡単に構築できます。 機械学習 (ML) アルゴリズムの選択を支援するために、Amazon SageMaker には、インストール済みでパフォーマンスが最適化された最も一般的な ML アルゴリズムが付属しています。 教師ありおよび教師なし学習手法を使用した機械学習モデルの構築に加えて、Amazon SageMaker RL を使用して Amazon SageMaker で強化学習モデルを構築することもできます。Amazon SageMaker RL には、強化学習の開始を容易にする、事前に構築された RL ライブラリとアルゴリズムが含まれています。GitHub には、Amazon SageMaker RL をロボットと自律走行車のトレーニング、ポートフォリオ管理、エネルギー最適化、自動容量スケーリングに使用する方法を示した例がいくつかあります。 このブログ記事では、Amazon SageMaker RL を使用してコンテキストを考慮したマルチアームバンディット (または略してコンテキストバンディット) を実装し、ユーザー向けにコンテンツをパーソナライズする方法を紹介します。コンテキストバンディットアルゴリズムは、おすすめをクリックしたかどうかなどのおすすめに対するユーザーの応答から学習することにより、ユーザー (ゲーマーやハイキング愛好家など) にさまざまなコンテンツオプションをおすすめします。このアルゴリズムでは、データの変化に適応するために機械学習モデルを継続的に更新する必要があり、Amazon SageMaker で反復トレーニングとデプロイループを構築する方法を説明します。 コンテキストバンディット パーソナライズされたウェブサービス (コンテンツレイアウト、広告、検索、製品のおすすめなど) のような多くのアプリケーションは、多くの場合、いくつかのコンテキスト情報に基づいて、継続的に決定を下す必要に迫られます。これらのアプリケーションは、ユーザー情報とコンテンツ情報の両方を利用して、個人向けにコンテンツをパーソナライズする必要があります。たとえば、彼女がゲーム愛好家であることに関連するユーザー情報と、そのゲームがレーシングゲームであることに関連するコンテンツ情報です。これらのアプリケーションを可能にする機械学習システムには、2 つの課題があります。ユーザーの好みを学習するためのデータはまばらで偏っています (多くのユーザーはほとんどまたはまったく履歴を持たず、過去におすすめされた製品も多くありません)。また、新しいユーザーとコンテンツが常にシステムに追加されています。パーソナライゼーションに使用される従来の Collaborative Filtering (CF) ベースのアプローチは、まばらで偏っているデータセットと現在のユーザーとコンテンツのセットに対して静的な推奨モデルを構築します。一方、コンテキストバンディットは、既知の情報の exploiting (ゲーム愛好家へゲームをおすすめすること) と、おすすめの exploring (ゲーム愛好家にハイキング用具をおすすめすること) との間でトレードオフを行うことで、戦略的な方法でデータを収集および増強します。これにより、高い利益が得られる可能性があります。バンディットモデルはユーザー機能とコンテンツ機能も使用するため、同様のコンテンツとユーザーの好みに基づいて、新しいコンテンツとユーザーにおすすめを作成できます。 先に進む前に、いくつかの用語を紹介しましょう。コンテキストバンディットアルゴリズムは、反復プロセスによって特徴付けられます。agent が選択できる (arm または […]

Read More

Amazon EFS または Amazon FSx for Lustre ファイルシステムを使用して、Amazon SageMaker のトレーニングをスピードアップする

Amazon SageMaker は、データサイエンスと機械学習のワークフローに向けて完全管理型のサービスを提供します。Amazon SageMaker の最も重要な機能の 1 つに、機械学習モデルをトレーニングするための完全管理型のトレーニングジョブを実行する機能が挙げられます。サービスコンソールにアクセスして、Amazon SageMaker で自分自身で機械学習モデルをトレーニングしてください。 今では、Amazon Elastic File System (EFS) または Amazon FSx for Lustre に保存されているデータから機械学習モデルをトレーニングすることで、トレーニングジョブの実行をスピードアップすることができます。 Amazon EFS は AWS クラウドサービスとオンプレミスリソースで使用するために Linux ベースのワークロードに対して、単純でスケール自在、伸縮自在なファイルシステムを提供します。Amazon FSx for Lustre は、機械学習、分析、ハイパフォーマンスコンピューティングなどのワークロードに対して最適化されたハイパフォーマンスファイルシステムです。 機械学習モデルのトレーニングでは、トレーニングジョブに対してトレーニングデータセットを提供することが必要です。 ファイル入力モードで Amazon Simple Storage Service (S3) をトレーニングデータソースとして使用するとき、トレーニングジョブの開始時にすべてのトレーニングデータが Amazon S3 からトレーニングインスタンスにアタッチされた EBS ボリュームにダウンロードされます。Amazon EFS または FSx for Lustre などの分散型ファイルシステムは、このダウンロード手順の必要性を排除することで、機械学習トレーニングをスピードアップできます。 この記事では、ファイルシステムを使用してモデルをトレーニングする利点について見ていき、ファイルシステムを選択し、開始する方法を示すために役立つ情報を提供します。 SageMaker のトレーニングモジュールのファイルシステムの選択 ファイルシステムから機械学習モデルをトレーニングすべきかどうかを考えるとき、最初に考えるべきことは、ご自分のトレーニングデータが今どこに常駐しているのか、ということです。 トレーニングデータがすでに Amazon S3 にあり、トレーニングジョブのためにより短いトレーニング時間を指示する必要がない場合は、データの移動必要なしで Amazon SageMaker […]

Read More

管理型スポットトレーニング: Amazon SageMaker トレーニングジョブで最大 90% を節約

Amazon SageMaker は、開発者やデータサイエンティストがあらゆる規模の機械学習 (ML) モデルを迅速かつ簡単に構築、トレーニング、デプロイできるようにする完全マネージド型プラットフォームです。組み込みアルゴリズムを使用するか、自分自身のものを使用するか、AWS Marketplace 内で使用可能なアルゴリズムから選択することがで、実験からスケールアウト生産までMLモデルを取得することは、かつてないほど簡単かつ迅速になりました。 One of the key benefits of Amazon SageMaker は重要な利点の 1 つは、作業するスケールにかかわらず、インフラストラクチャ管理から解放することです。たとえば、複雑なトレーニングクラスタのセットアップをし、管理する代わりに、Amazon SageMakerに使用する Amazon Elastic Compute Cloud (EC2) インスタンスタイプと必要な数を伝えるだけでかまいません。適切なインスタンスは、オンデマンドで作成され、設定され、トレーニングジョブが完了したら自動的に終了します。カスタマーが素早く理解するように、このことはトレーニングインスタンスを待機させるための支払いは行わず、コストを管理できる状態にするための簡単な方法であることを意味します。 管理型スポットトレーニングの紹介 ワンステップ更に進めて、当社はこれまでの Amazon SageMaker のオンデマンドのインスタンスを使用する場合に比べて、最大 90% のコストを削減することで ML トレーニングコストを下げることを支援する Amazon EC2 スポットインスタンスに基づいた新しい機能である Amazon SageMaker の管理型スポットトレーニングを発表することを非常に喜ばしく思っています。スポットインスタンスは約 10 年前にローンチされ、それ以来、AWS でスケール自在でコスト最適化された IT プラットフォームを構築する礎石となってきました。本日より、お使いの Amazon SageMaker トレーニングジョブが完全管理型のインフラすトラクター状で実行されるだけではなく、完全に管理されたコスト最適化の恩恵も受け、同じ予算でより多くの成果を上げることもできるようになりました。では、中を見ていきましょう! 管理型スポットトレーニングは、次のすべてのトレーニング設定で利用できます。 Amazon SageMakerによりサポートされているすべてのインスタンスタイプ。 全モデル: 組み込みアルゴリズム、組み込みフレームワーク、およびカスタムモデル 全設定: 単一インスタンストレーニング、分散トレーニング、および自動的なモデルの微調整 […]

Read More

Amazon SageMaker を使用した Spectral MD による創傷ケアの近代化

Spectral MD, Inc. は、臨床研究ステージの医療機器会社であり、自らを「光の障壁を破って体内の奥底を見つめる」と説明しています。 最近、FDA によって「画期的デバイス」に指定された Spectral MD は、最先端のマルチスペクトルイメージングと深層学習テクノロジーを使用して、創傷ケアに優れたソリューションを提供します。ダラスに拠点を置くこの会社は、Amazon SageMaker や Amazon Elastic Compute Cloud (Amazon EC2) などの AWS サービスに基づいて、前例のない創傷ケア分析への取り組みをサポートしています。クラウドプロバイダーとして AWS を使用することで、Spectral MD チームは、データが迅速かつ効果的に保存および処理されることを認識し、革新的な医療に集中できます。 「AWS を選択したのは、医療機器で使用される最先端の深層学習アルゴリズムを迅速にトレーニング、最適化、検証するために必要な計算リソースにアクセスできるからです」と、Spectral MD ソフトウェアチームのリードである Kevin Plant 氏は説明します。「AWS は、アルゴリズムの研究、開発、デプロイに不可欠な臨床データセットの安全なリポジトリとしても機能します」 アルゴリズムは 10 年前の会社独自の DeepView Wound Imaging System を用いています。非侵襲的なデジタルアプローチを使用して、臨床研究者が患者と接触することなく、隠れた病気を確認することができます。具体的にこのテクノロジーは、視覚的入力とデジタル分析を組み合わせて、複雑な創傷状態を理解し、創傷の治癒能力を予測します。ポータブルイメージングデバイスと AWS の計算能力を組み合わせて、臨床医は人間の目には見えない規模でも正確なスナップショットをキャプチャできます。 Spectral MD の革新的なソリューションでは、AWS サービスのおかげでコアな計算能力と機械学習による巧妙な処理、両方を実現することができました。会社は、デバイスでキャプチャしたデータを Amazon Simple Storage Service (Amazon S3) に保存し、メタデータを Amazon DynamoDB […]

Read More

Amazon SageMaker 2019年4月から8月のアップデート

みなさま、こんにちは。AWS 機械学習ソリューションアーキテクトの大渕です。 すでにみなさまにご利用いただいている機械学習のマネージドサービス Amazon SageMaker ですが、現在も新機能がどんどん追加されています。そこで今回は、2019 年 4 月から 8 月までに Amazon SageMaker に追加された機能をご紹介したいと思います。 ご自身にピッタリの機能がないか、ぜひチェックしてみてください。

Read More

Amazon SageMaker を使用して、機械学習でエネルギー価格を予測する Kinect Energy

Amazon ML Solutions Lab は最近 Kinect Energy と協働し、機械学習 (ML) に基づいて将来のエネルギー価格を予測するパイプラインを構築しました。Amazon SageMaker と AWS Step Functions でデータの自動取り込みと推論パイプラインを作成し、エネルギー価格の予測を自動化およびスケジューリングできるようにしました。 このプロセスでは、Amazon SageMaker DeepAR 予測アルゴリズムを特別に使用します。深層学習予測モデルで現在の手動プロセスをこれに置き換えることで、Kinect Energy の時間を節約し、安定したデータ主導での方法を導入できました。 次の図は、エンドツーエンドのソリューションを示しています。 データの取り込みは毎日データをロードして処理し、Amazon S3 のデータレイクに保管するステップ関数を使用して調整します。その後、データを Amazon SageMaker に渡し、Amazon SageMaker は推論パイプラインモデルをトリガーするバッチ変換呼び出しを介して推論生成を処理します。 プロジェクトが生まれたわけ 自然電力市場は消費者の需要を満たすため、風力、水力、原子力、石炭、および石油/ガスといった資源に依存しています。需要に応えるために利用する電力資源の実際の組み合わせは、その日の各エネルギー資源の価格によって変化します。価格はその日の電力需要によって変わります。そして投資家が電力の価格を公開市場で取引します。 Kinect Energy はエネルギーを売買しています。そのビジネスモデルの中でも、エネルギー価格から派生した金融契約の取引は重要な部分です。これには、エネルギー価格の正確な予測が必要です。 そのため Kinect Energy は過去に手動で行われた予測プロセスを、ML を使って改善し自動化したいと考えていました。現物価格は現在の商品価格、つまり現物を将来引き渡しするための売買価格で、先物価格やフォワード価格とは異なります。予測した現物価格と先物価格を比較することで、Kinect Energy チームは現在の予測に基づいて将来の価格変動をヘッジする機会を得ることが可能となります。 データの要件 このソリューションでは、1 時間間隔で 4 週間を見通した現物価格を予測しようとしました。プロジェクトの主要な課題の 1 つに、必要なデータを自動的に収集し処理するシステムを作成することがありました。パイプラインには 2 つの主要なデータのコンポーネントが必要でした。 過去の現物価格 エネルギー生産と消費率、および現物価格に影響するその他の外部要因 (生産率と消費率を外部データとしています。) […]

Read More

Amazon SageMaker を使用した収穫の成功で、Bayer のデジタル農業ユニットを強化

2050 年までに、地球は 100 億人を養う必要があります。地球を拡大して農地を増やすことはできないので、食料を増やすための解決策は、農業の生産性を高め、資源への依存を軽減することです。つまり、作物を損失したり、資源を浪費したりする余地はありません。Bayer は Amazon SageMaker を使用して、世界中の田畑で発生する損失を排除しています。 家庭からは、台所での廃棄や食べ残しなどの食べ物を捨てることで、食物の損失が発生します。しかし、多くの国での食物損失の大部分は、実際には、何らかの形で「実を結ばない」作物、つまり、害虫、病気、雑草、土壌の栄養不良などによるものです。Bayer の子会社である Climate Corporation は、こうした課題の解決に役立つデジタル農業サービスを提供しています。 Climate Corporation のソリューションには、トラクターおよび衛星対応のフィールドヘルスマップからのデータの自動記録が含まれます。こうしたサービスなどを世界中の何千もの農家に提供することにより、Climate Corporation は農家が土地を健康で肥沃に保つことをサポートします。 また同社のチームは、FieldCatcher と呼ばれる新しいサービスにも取り組んでいます。このサービスでは、農家はスマートフォンの画像を使用して、雑草、害虫、病気を特定できます。「画像認識を使用して、農家に仮想農学者へのアクセスを提供し、しばしば困難である作物の問題の原因を特定する作業を支援します。これにより、アドバイスにアクセスできない農家にも力を与えるとともに、すべての農家が野外での観察をより効率的にキャプチャして共有できるようになります」と、Climate Corporation の近接センシングのリーダーである Matthias Tempel 氏は述べています。 FieldCatcher は、Amazon SageMaker でトレーニングされた画像認識モデルを使用し、Amazon SageMaker Neo を使用して携帯電話向けにモデルを最適化します。この設定により、農家はモデルを使用して、インターネットにアクセスしなくてもすぐに結果を得ることができます (多くの農地ではインターネット接続がないため)。Amazon SageMaker を使用すると、FieldCatcher が問題の原因を自信を持って特定するのに役立ちます。これは、農家に適切な修復ガイダンスを提供するうえで不可欠です。多くの場合、すぐに対処して問題に確信を持てることは、田畑の収穫量や農家の成功に大きな違いをもたらします。 FieldCatcher ソリューションを強化するため、Bayer は多種多様で高品質な画像を収集し、さまざまな環境、成長段階、気象条件、日光のレベルを含むトレーニングデータを作成しています。それぞれの写真はスマートフォンからアップロードされ、最終的には認識をさらに向上させるための継続的に拡張されるライブラリの一部になります。以下の図は、各画像の過程とそのメタデータを示しています。 具体的には、Amazon API Gateway および Amazon Simple Storage Service (Amazon S3) へのアップロードを保護する Amazon Cognito への取り込みでプロセスが始まります。サーバーレスアーキテクチャは、他のどの方法よりもスケーラブルで保守が容易であるために選択されますが、ステップを実行し、最終的に受信したデータをデータレイクに移動するために AWS Lambda […]

Read More

行動経済学、銀行取引、および AWS の機械学習を利用して、ジェネレーション Z を経済的に強化する

これは、Pluto Money の共同創設操業者兼 CTO の Dante Monaldo 氏のゲストブログ記事です。 サンフランシスコを拠点とするスタートアップ企業である Pluto Money は、銀行、行動経済学、および機械学習 (ML) を組み合わせて、ジェネレーション Z を大学内外での経済的目標に導く、無料の資金管理アプリです。当社は、ジェネレーション Z の大学生の経済的ニーズに応え、卒業後も共に成長するように設計された初めてのモバイルバンクを構築しています。 健全な経済的習慣を早期に確立することの重要性が、私と共同創業者の Tim Yu および Susie Kim が私たち自身の経験に基づいて Pluto を設立したことにつながっています。私たちは、当社のビジネスにも同じように財政的厳密さを適用しています。クラウドサービスはコストを削減し、これまでの急成長企業には想像もできなかった柔軟性をもたらすため、クラウドを使用することは私たちにとって当然の選択でした。 AWS ソリューションは堅牢であり、シームレスに連携できるので、コアコンピューティングから ML まで、私たちは AWS を主要なクラウドプラットフォームとして選択しました。当社のチームは成長を続けており、多くのスタートアップ企業と同様に、私たち全員が様々な役割を担っています。そのため、AWS の製品を利用して時間を節約しながら、チームの規模を拡大していく中でエンタープライズクラスの技術スタックを構築することができます。 Pluto Money の心臓部は、Pluto Money モバイルアプリから発信されるすべてのリクエストを処理するクライアント API です。Node.js で書かれており、Classic Load Balancer の背後にある Amazon Elastic Compute Cloud (EC2) インスタンスで動作します。これは、AWS が Network Load Balancer […]

Read More

【開催報告】 第6回 Amazon SageMaker 事例祭り

アマゾン ウェブ サービス ジャパン株式会社 機械学習ソリューションアーキテクトの上総 (Twitter:@tkazusa) です。AWS Japan 目黒オフィスでは「Amazon SageMaker 事例祭り」(Twitter: #sagemaker_fes) を定期的に開催しています。2019年7月18日に開催された第6回 Amzon SageMaker 事例祭りでは、AWS Japan のソリューションアーキテクトによるサービスの最新情報や技術情報と、Amazon SageMaker をご利用いただいているお客様をゲストスピーカーにお招きし、実際に導入頂いたお客様による「体験談」をお話し頂きました。

Read More

AWS Lambda および Amazon SageMaker Ground Truth によるカスタムのラベル貼付ジョブの作成

 Amazon SageMaker Ground Truth は、機械学習用の高精度なトレーニングデータセットを構築するお手伝いをします。SageMaker Ground Truth を使用すると、パブリックおよびプライベートでラベル付けを行う作業者に簡単にアクセスでき、一般的なラベル付けタスクのための組み込みワークフローとインターフェイスが提供されます。Ground Truth は自動ラベル付け機能を使用して、ラベル付けコストを最大 70% 下げることができます。人間がラベルを作成したデータから Ground Truth をトレーニングすることにより機能するため、サービスはデータを独立してラベル付けすることを学習します。 組み込みワークフローに加えて、Ground Truth ではカスタムワークフローをアップロードするオプションがあります。カスタムワークフローは、人間のラベル作成者にラベル付け作業を完了するためのすべての指示と必要なツールを与える HTML インターフェイスから構成されています。また、前処理と後処理の AWS Lambda 関数も作成します。 前処理 Lambda 関数は、HTML インターフェイスへの入力をカスタマイズできるように支援します。 後処理 Lambda 関数は、データの処理を支援します。たとえば、その主な使用の 1 つは、精度向上のためのアルゴリズムをホストして、Ground Truth に対して人間が提供するラベルの質を評価する方法を指示します。 アルゴリズムは、同じデータが複数の人間のラベル作成者に提供されるときに、それが「正しい」かの同意を得るために使用されます。これはまた、質の低いデータを提供するラベル作成者も識別し、強調を押さえます。Amazon SageMaker コンソールを使用して、HTML インターフェイスと前と後処理 Lambda 関数をアップロードすることもできます。 正常に HTML インターフェイスを組み込むために、前と後処理の Lambda 関数は カスタムラベル付けワークフローの作成 で指定された入出力仕様を遵守しなければなりません。すべての可動部分をセットアップし、それらが互いに正常にやり取りできるようにするためには、何回か繰り返す必要があることが考えられます。 この記事では、カスタム HTML テンプレートと Lambda 関数のサンプルを使用して、カスタムワークフローをセットアップするプロセスを順に説明していきます。サンプルの Lambda 関数は、AWS […]

Read More