Amazon Web Services ブログ

Category: Artificial Intelligence

AWS DeepRacer リーグ: 2020 年シーズンでは、レースに向けて仮想サーキットが開催されます。

AWS DeepRacer リーグは、誰でも参加できる世界初の自律型レーシングリーグです。2019 年、世界中の何万人もの開発者が、最速モデルを持っていることを証明するために、時間との戦いに参加しました。大会では日本の SOLA が優勝し、re:Invent 2019 ステージでチャンピオンシップカップを勝ち取りました。 仮想サーキットがオープンしました。レース形式と賞品がより豪華になりました。 レーサーはこの単一車のレース形式を楽しんでいましたが、多くの人は単純な時間との戦いよりもライバルたちと直接レースを競い合うことを切望しました。re:Invent 2019 で、新しい AWS DeepRacer 機能とレースの予定が発表されました。発表では、機械学習 (ML) 開発者にとって 2020 年がさらにオクタン価の高い年になると約束しました。3 月 2 日は 2020 年シーズンの始まりで、仮想サーキットの開幕でもあります。今年の最初のトラックは SOLA のレーススタイルからインスピレーションを得たもので、高速ストレートと背中合わせのヘアピンターンでチャンピオンのようにレースを味わえます。re:Invent 2020 でチャンピオンシップを勝ち取るために、AWS DeepRacer コンソールを介して SOLA Speedway モデルの構築とレースを始めましょう。 2020 年 3 月から 10 月にかけて行われる毎月のレースでは、仮想サーキットシーズンで合計 24 レースが行われ、そのうち 3 つのレース形式 (タイムトライアル、障害物回避、直接対戦) から選択できます。レースの数が増えると、2020 年には 2019 年に比べ 4 倍の勝者を獲得できます。これらのレースでリーダーボードのトップに登り詰めると、チャンピオンシップに出場するための re:Invent 2020 の旅費が支払われます。 タイムトライアルレースは、より伝統的な 2019 […]

Read More

Amazon CodeGuru Profiler を使用したアプリケーションパフォーマンスの最適化

Amazon CodeGuru (プレビュー) は AWS re:Invent 2019 で開始されたサービスで、アプリケーションのパフォーマンス特性を分析し、改善方法に関する自動推奨を提供します。これを行うには、アプリケーションのランタイムをプロファイリングし (CodeGuru Profiler を使用)、ソースコードの変更を自動的にレビューします (CodeGuru Reviewer を使用)。詳細については、Amazon CodeGuru Profiler とはを参照してください。 この記事では、CodeGuru Profiler の仕組み、一般的な使用方法、本番環境でのアプリケーションのパフォーマンスに対する理解を向上させる方法についての概要を説明します。JVM (Java Virtual Machine) の基本的な知識と、スレッドや呼び出しスタックなどの関連概念を前提としています。 CodeGuru Profiler を使用する理由 CodeGuru Profiler は、常時実行される継続的なプロダクションプロファイラーを使用して、アプリケーションのランタイムパフォーマンスに関する洞察を提供します。現在実行中のスレッドとスレッドが実行しているコードに関するアプリケーションのランタイムからデータを収集します。CodeGuru Profiler は、アプリケーションの実行を理解するのに役立つ視覚化と、最適化の方法に関する自動推奨を提供します。これらの推奨事項は、CPU 使用率とアプリケーションレイテンシーの削減に重点を置いて、インフラストラクチャコストを削減し、顧客により快適な体験を提供します。 これらの最適化によって、大規模なフリートに適用する時にコストを大幅に削減できます。Amazon 内で、CodeGuru Profiler は 80,000 以上のアプリケーションで実行されています。推奨される最適化により数千万 USD を節約できました。また、運用上の問題とパフォーマンスへの影響を分析するために一貫して使用されます。 CodeGuru Profiler の概要 CodeGuru Profiler は、3 つの主要コンポーネントで構成されています。 エージェント – アプリケーション内で実行され、現在のランタイム状態をポーリングし、このデータを CodeGuru Profiler に送信します コンソール […]

Read More

175 以上のお客様が AWS の Machine Learning Solutions Lab で機械学習を用いて成功を収めています

AWS は、機械学習の専門家とデータサイエンティストを AWS のお客様と結びつけるために、2 年ほど前に機械学習 (ML) ソリューションラボを導入しました。  私たちの目標は、顧客が ML を使用して最も差し迫ったビジネス上の問題を解決できるようにすることでした。お客様の不正検出率の向上、より効率的な運用のための予測能力の改善、パーソナライゼーションを通じた収益の増加、さらに人身売買などの危機に対する組織の対応規模の拡大を支援してきました。 取組みを開始してから、小売、ヘルスケア、エネルギー、公共部門、スポーツなど、さまざまな業界の 175 を超える顧客が、機械学習を活用した新たなソリューションを創出するのを支援してきました。  そして、世界中のお客様の増大する ML ニーズを満たすべく、容量を 5 倍以上に増やし、北米からアジア、オーストラリア、ヨーロッパに拡大しました。 ナショナルフットボールリーグ (NFL) とのパートナーを組み、パスコンプリート率、3rd ダウンコンバージョン率、キャッチ後の予測ヤード数、勝率、キャッチ予測などの統計情報を備えた Next Gen Stats を通じて、ファンがスポーツを楽しむためのまったく新しい方法を考え、構築しました。今日、Next Gen Stats は、ファンが試合を楽しむために、重要な役割を果たしています。そして最近では、次の課題に取り組むため、NFL と新しい取組みを始めました。この課題とは、プレーヤーの負傷を予測し、これを回避することです。この取組みの一環として、当社は NFL と協力して「Digital Athlete」を開発しています。これは、複合 NFL プレーヤーを視覚的に表したものであり、結果的に負傷および回復過程の予測を可能にします ヘルスケアの分野では、上場しているヘルスケア IT 企業として最大の Cerner と協力して、コストを削減するとともに、臨床医の満足度を高めつつ、個人や集団の健康を改善するというミッションに機械学習を活用したソリューションを用いています。 このプロジェクトの重要な課題の 1 つは、健康予測機能を使用して、信頼できるソースのデジタル健康データから、潜在的に救命に役立つ重要な洞察を明らかにすることにあります。一例として、Amazon SageMaker を使用して、研究者が匿名化された患者データを照会し、臨床症状の最大 15 か月前にうっ血性心不全を予測する複雑なモデルとアルゴリズムを構築できるようにするソリューションを構築しました。 また、Cerner は、新しく導入された Amazon Transcribe Medical などの AWS AI サービスを使用して、仮想スクライブを介してメモを書き留めるなどのタスクから医師を解放する予定です。 公共部門では、NASA […]

Read More

Lambda、Step Functions、CloudWatch Events ルールで Amazon Forecast ワークフローを自動化する

Amazon Forecast は、機械学習 (ML) により、それまでの ML 経験を待つことなく、非常に正確な予測を生成できる完全マネージド型サービスです。Forecast は、製品需要の見積り、エネルギー需要の予測、人事計画、クラウドインフラストラクチャの使用状況の算定、トラフィック需要の予測、サプライチェーンの最適化、財務計画など、さまざまなユースケースに使用できます。 Forecast は完全マネージド型サービスであるため、プロビジョニングするサーバーや手動で構築する ML モデルはありません。また、使用した分だけお支払いいただくようになっており、最低料金や前払い料金を求められることはありません。Forecast を使用するために必要なことは、予測対象の履歴データをご提供いただくことだけです。オプションとして、予測に影響を与えると思われる関連データも併せてご提供ください。後者には、価格、行事、天候など、時により変化するデータと、色、ジャンル、リージョンなどカテゴリに関するデータの、両方が含まれます。このサービスでは、お手元のデータに基づいて機械学習モデルを自動的にトレーニングし、デプロイして、予測を取得するためのカスタム API を提供します。 この記事では、Amazon Redshift のシステムアーキテクチャについて説明します。それにより、Forecast を使ってハードウェアを管理し、お客様が Amazon Redshift クラスターを迅速にスピンアップできるようにします。このシステムアーキテクチャはユースケースに依存せず、複数のシナリオで参照してお使いいただけます。Amazon Forecast の使用方法の詳細については、「Amazon Forecast が一般公開されました」と「Amazon Forecast で自由選択した分位数での予測作成のサポートを開始」を参照してください。 ユースケースの背景 Amazon Redshift は、クラウド上の、ペタバイトまたはエクサバイト規模の完全マネージド型のデータウェアハウスサービスです。Amazon Redshift クラスターは、1 つ以上のノードで構成されています。優れた顧客体験を提供するためにできるだけ早くクラスターをセットアップするには、キャッシュプールを維持して、ウォームプールと一般的に呼ばれるデータベースソフトウェアが事前にインストールされた特定の数のノードを保持します。顧客が新しいクラスターをリクエストするたびに、Amazon Redshift は必要な数のノードをキャッシュプールから取得します。Amazon Redshift はすべてのリクエストを記録し、各エントリには Location、Timestamp、NumberOfNodes の属性が含まれます。次のテーブルにデータの例を示します。 LocationId Timestamp NumberOfNodes A 2019-01-01T18:05:00Z 5 A 2019-01-01T18:20:00Z 7 A 2019-01-01T18:52:06Z 11 A 2019-01-01T19:06:00Z […]

Read More

Amazon SageMaker Operators を使用して Kubernetes の機械学習推論を簡素化する

 Amazon SageMaker Operators for Kubernetes を使用すると、既存の Kubernetes クラスターを SageMaker がホストするエンドポイントで増加できます。 機械学習推論には、信頼できる効率的なサービスを作成するための投資が必要です。XGBoost モデルの場合、開発者は、Flask などを使用してモデルをロードし、エンドポイントを実行するアプリケーションを作成する必要があります。開発者は、キュー管理、障害のないデプロイ、新しくトレーニングされたモデルのリロードについて考える必要があります。次に、提供するコンテナを Docker リポジトリにプッシュする必要があります。ここで、Kubernetes をクラスターからプルおよびデプロイするように構成できます。これらの手順では、データサイエンティストがモデル精度の向上と関係のないタスクに取り組む必要があります。開発運用エンジニアを導入すると、開発スケジュールが増えるため、反復に時間がかかります。 SageMaker Operators を使用すると、開発者は S3 に保存されたモデルの保存場所を指定する yaml ファイルを作成するだけで充分です。これにより、安全なエンドポイントからライブ予測が利用可能になります。エンドポイントの再構成は、yaml ファイルの更新と同じくらい簡単です。使いやすさに加えて、このサービスは次の機能も備えています。 マルチモデルエンドポイント – 数十以上のモデルをホストするには構成が難しいため、低い使用率で動作する多くのマシンにつながる可能性があります。マルチモデルエンドポイントは、提供するモデルアーティファクトのオンザフライロードで 1 つのインスタンスを設定します。 Elastic Inference – 低コストでデプロイできるスプリット GPU で小さなワークロードを実行します。 高使用率と動的 Auto Scaling – エンドポイントは 100% の使用率で実行でき、1 秒あたりの呼び出しなど、定義したカスタムメトリックに基づいてレプリカを追加できます。または、クライアントパフォーマンスの事前定義済みメトリックで Auto Scaling を構成できます。 アベイラビリティーゾーンの転送 – 停止される場合、Amazon SageMaker はエンドポイントを VPC 内の別のアベイラビリティーゾーンに自動的に移動します。 A/B […]

Read More

Amazon SageMaker で機械学習の総所有コストを削減し、生産性を向上

 機械学習 (ML) モデルの構築、トレーニング、デプロイには多くの選択肢があります。さまざまなクラウドソリューションの財務上の考慮事項を比較検討するには、詳細な分析が必要です。ML ワークフローの各ステップのインフラストラクチャ、運用、およびセキュリティコスト、およびデータサイエンスチームの規模と専門知識を考慮する必要があります。 総所有コスト (TCO) は、多くの場合、ML コストを推定および比較するために使用する財務指標です。この投稿では、ML モデルを構築、トレーニング、デプロイするためのフルマネージド型のサービスである Amazon SageMaker の TCO 分析をご紹介します。調査結果は、3 年間の TCO が、セルフマネージドの Amazon EC2 や AWS マネージドの Amazon EKS などの他のクラウドベースの ML オプションと比較して 54% 低いことを示しています。分析では、5 人のデータサイエンティストの小規模なチームから 250 人のデータサイエンティストの非常に大規模なチームまでをその対象とし、Amazon SageMaker があらゆる規模のチームで優れた TCO を提供することがわかりました。 分析結果 次のテーブルに結果をまとめます。詳細な TCO 分析については、「Amazon SageMakerの総所有コスト」を参照してください。 まとめ Amazon SageMaker の 3 年間の TCO コストの削減 EC2 との比較 EKS との比較 小規模のシナリオ […]

Read More

Amazon SageMaker で疑わしい医療費請求にフラグを立てる

 National Health Care Anti-Fraud Association (NHCAA) は、医療費詐欺が年間約 680 億 USD かかると推定しています。これは、医療支出の 2 兆 2600 億 USD の 3% に相当します。これは控えめな見積もりです。他の見積りでは、高くて年間の医療費の 10%、つまり 2,300 億 USD と推定されています。 医療費詐欺は、必然的に消費者の保険料と自己負担額の増加につながり、給付や補償が減少することにもなります。 請求に不正行為のラベルを付けるには、複雑で詳細な調査が必要になる場合があります。この記事では、Amazon SageMaker モデルをトレーニングすることで、異常な事後払いのメディケア入院費請求にフラグを立て、それを不正の疑いについてさらに調査するターゲットとする方法をご紹介します。ソリューションにはラベル付きデータは必要ありません。教師なし機械学習 (ML) を使用して、疑わしい請求にフラグを立てるモデルを作成します。 異常検出は、次の課題があるため困難な問題です。 データの正常性と異常の違いは、明確ではないことがよくあります。異常の検出方法は、アプリケーション固有のものである場合があります。たとえば、臨床データでは、わずかな偏差が外れ値になる可能性がありますが、マーケティングアプリケーションでは、外れ値を正当化するには大幅な偏差が必要です。 データのノイズは、属性値または欠損値の偏差として表示される場合があります。ノイズは外れ値を隠すか、逸脱を外れ値としてフラグを立てます。 外れ値の明確な正当化を実現するのは難しいかもしれません。 このソリューションでは、Amazon SageMaker を使用します。これにより、開発者およびデータサイエンティストは、ML モデルを構築、トレーニング、およびデプロイすることができます。Amazon SageMaker は ML ワークフロー全体をカバーする完全マネージドサービスで、データをラベル付けして作成し、アルゴリズムを選択し、モデルをトレーニングし、デプロイのために調整と最適化を行い、予測を立て、アクションを実行します。 このソリューションのエンドツーエンドの実装は、Amazon SageMaker Jupyter Notebook として利用できます。詳細については、GitHub リポジトリを参照してください。 ソリューションの概要 この例では、Amazon SageMaker により次のことを行います。(1) データセットをダウンロードし、Jupyter ノートブックを使用して視覚化します。(2) […]

Read More

AWS Step Functions Data Science SDK for Amazon SageMaker を使用してモデルの再トレーニングとデプロイを自動化する

 機械学習 (ML) が企業のコアビジネスの大きな部分を占めるようになると、モデルの作成からデプロイまでの時間を短縮することに重点が置かれるようになりました。2019 年 11 月、AWS は AWS Step Functions Data Science SDK for Amazon SageMaker をリリースしました。これは、開発者が Python で Step Functions ベースの機械学習ワークフローを作成できるオープンソース SDK です。SDK を使用して、モデルの開発に使用するものと同じツールを使用して、再利用可能なモデルデプロイワークフローを作成できるようになりました。このソリューションの完全なノートブックは、GitHub リポジトリの「automate_model_retraining_workflow」フォルダにあります。 この記事では、Data Science SDK の機能を、スケジュールされたモデルの再トレーニングとデプロイの一般的なユースケースで示します。また、ML モデルをトレーニングするためのサーバーレスワークフローを作成し、検証データセットに対してモデルのパフォーマンスを確認します。さらに、モデルの精度が設定されたしきい値を超えた場合に、モデルを運用環境にデプロイします。最後に、この記事では、定期的なスケジュールに基づいてワークフローをトリガーする方法を示します。 次の図は、AWS Step Functions を利用した上記のサーバーレスワークフローを示しています。 この記事では、以下の AWS のサービスを使用します。 AWS Step Functions により、複数の AWS のサービスをサーバーレスワークフローに統合できます。1 つのステップの出力が次のステップへの入力として機能するワークフローを設計および実行し、エラー処理をワークフローに埋め込むことができます。 Amazon SageMaker は、さまざまなタイプの ML モデルを構築、トレーニング、デプロイするためのツールを開発者とデータサイエンティストに提供する完全マネージド型サービスです。 AWS Glue は、抽出、変換、ロード (ETL) […]

Read More

Amazon Comprehend 東京リージョン対応のお知らせ

みなさん、こんにちは。シニアエバンジェリストの亀田です。 Amazon  Comprehendが東京リージョンに対応しました。 Comprehendは、機械学習の経験は不要で、機械学習を使用してテキスト内でインサイトや関係性を検出する自然言語処理 (NLP) サービスです。 このサービスを用いて、構造化されていないデータのインサイトと関係を明らかにすることができます。テキストの言語を識別し、キーフレーズ、場所、人物、ブランド、またはイベントを抽出し、テキストがどの程度肯定的か否定的かを理解し、トークン分割や品詞を使用してテキストを分析し、テキストファイルのコレクションをトピックごとに自動的に整理します。Amazon Comprehend の AutoML 機能を使用して、組織のニーズに合わせて独自にカスタマイズされたエンティティまたはテキスト分類モデルのカスタムセットを構築することもできます。 従来オレゴンなど海外のリージョンですでに日本語対応がされていましたが、東京リージョンに対応したことにより、より使いやすくなりました。 How it works マネージメントコンソールから簡単なデモが出来るようになっていますので、少しご紹介します。 1.[Launch Amazon Comprehend]を押します。 2.適当な日本語を入力し、[Analyze]を押します。このデモでは、[Built-in]を使いますが、[Custom]を用いることで、独自にテキスト分類モデルをカスタマイズすることができます。 結果として、この文章の解析が出力されます。複数のタブが用意されています。 Entities – ドキュメントで識別された人、場所、日付などのエンティティのリストを返します。文章の自動分類などに用います。 Key phrases – ドキュメントに表示される重要なフレーズを抽出します。たとえば、バスケットボールの試合に関するドキュメントは、チームの名前、会場の名前、最終スコアを返す場合があります。 Language – 文章の言語を推測します。 Sentiment – ドキュメントの感情的な感情を判断します。感情は、Positive、Neutral、Negative、またはMixedで出力されます。例えば攻撃的な言葉はNegative、愛情を語る「あなたがとても好きです。だからそんな悲しいことを言わないで。」という言葉はPositiveを返します。 Syntax – 現在日本語には非対応ですが、ドキュメント内の各単語を解析し、その単語の品詞を決定します。たとえば、「It is raining today in Seattle」という文では、「it」は代名詞として識別され、「raining」は動詞として識別され、「Seattle」は固有名詞として識別されます。 ハンズオンイベントのお知らせ Comprehendに加えて、機械翻訳サービスの Amazon Translate、文字を音声化するAmazon Polly、音声を文字起こしするAmazon Transcribeを体験いただけるハンズオンイベントを開催します。もしよろしければ以下の日程のご都合のいい方にお越し下さい。 AWS Loft Tokyo 2020年3月11日 18:30 ~ AWS 目黒オフィス 2020年3月3日 13:30 ~ […]

Read More

Amazon Personalize で使用できる項目属性数が 10 倍以上となり、レコメンデーションの関連性が改善

Amazon Personalize は Amazon Personalize で作成できるカスタム機械学習モデルを使用することで、これまでに機械学習の経験がなくても、ウェブサイト、アプリ、広告、E メールなどをパーソナライズできる機械学習サービスの 1 つです。このたび、Amazon Personalize が Personalizeでのモデリング用にこれまでの 10 倍以上の項目属性数をサポートするようになりましたことをお知らせします。Amazon Personalize で ML モデルを構築する際、以前は最大 5 つの項目属性を使用できました。現在、この属性数の上限が 50 となりました。項目に関する詳細情報、たとえば、カテゴリ、ブランド、価格、期間、サイズ、作成者、リリース年などを使用して、レコメンデーションの関連性を高めることができます。 この投稿では、カスタムの属性を持つ項目メタデータを Amazon Personalize に追加し、このデータとユーザー操作を使ってモデルを作成する方法を学びます。この投稿では、美容製品の Amazon カスタマーレビューをデータとして使用します。詳細およびこのデータをダウンロードするには、「Amazon Customer Reviews Dataset」をご参照ください。ユーザーがレビューした項目の履歴をユーザーおよび項目のメタデータとともに使用し、それらに対する製品のレコメンデーションを生成します。 データの前処理 Amazon Personalize でデータをモデル化するには、そのデータを次のようなデータセットに分割する必要があります。 Users – ユーザーに関するメタデータが含まれます Items – 項目に関するメタデータが含まれます Interactions – 操作 (この投稿では、レビュー) および操作に関するメタデータが含まれます 各データセットについて、この投稿では次の属性を使用します。 Users – customer_id、helpful_votes、total_votes Items – product_id、product_category、product_parent Interactions – […]

Read More