Category: Amazon Machine Learning

本投稿は AWSのソリューションアーキテクトである Diego Colombatto と Oliver Steffmann による寄稿を翻訳したものです。   はじめに 以前のブログ記事では、AWS で機械学習ベースのトレードストラテジーをバックテストするためのアーキテクチャについて説明しました。このアーキテクチャの主要なコンポーネントの1つは、データマネジメントと分析のためのコンポーネントです。 特定のユースケースに応じて、これを実装するためのさまざまな選択肢があります。多くの企業は、データレイクに基づくソリューションを採用しており、最近ではレイクハウスアーキテクチャを採用しています。どのようなアプローチを選んでも、ソリューションは次の主要な機能領域(データマネジメント、データガバナンス、データ分析、機械学習)をカバーする必要があります。機械学習モデルの開発には、データ探索やデータ準備などの機能が必要です。さらに、顧客には、さまざまなソースからの金融データをクエリして結合するためのより高度なツールと、指標や金融時系列データを簡単に操作できる方法が必要です。 Amazon FinSpaceのローンチにより、金融データを扱うための安全、スケーラブルなデータ管理、および分析基盤をセットアップするための付加価値につながらない重い作業が不要になりました。利用者はマネージドサービスを活用できるため、これらのタスクは以前よりはるかに簡単になります。Amazon FinSpace には、分析や機械学習を目的としたデータ準備のための、タイムバーやボリンジャーバンドなど、100以上の関数ライブラリも含まれています。

昨年は、旅行とホスピタリティ業界、旅行者やゲスト、プロバイダーやサプライヤー、従業員やステークホルダーにとって前例のないものでした。混乱の結果、移動平均での予測や、昨年対比を参照していた企業は、舵取りのできない船の舵を取ることになってしまいました。正確な予測ができなければ、旅行とホスピタリティの会社は、旅行者やゲストがいつ、何人到着するかを決定することはできません。彼らは、適切な人員配置、在庫ポジションの調整、プロモーションやイベントが業績に与える影響のモデル化、価格設定と収益管理の最適化、プロジェクトの収益やキャッシュフローの予測方法を知りません。GrubhubのシニアデータサイエンティストであるWilliam Coxは、この業界のジレンマをうまく要約し、「供給過剰は運用コストを増加させ、供給不足は顧客満足度を低下させる」と述べました。 つまり、顧客体験の向上と運用効率の最適化に重点を置いた業界では、正確な予測が不可欠です。しかし、予測不可能な状況により、正確な予測はかつてないほど困難になっています。

お客様が買い物をする際、それがオンラインであっても実店舗であっても、それは簡単でシンプルで楽しいものであるべきです。お客様の心の中では、販売チャネルに関係なく、小売業者、またはブランドは1つの要素です。このため、お客様は店舗においてもオンラインと同じ利便性を備えたデジタルと現実世界の接点が流動的にようにシフトするジャーニーを期待しています。 店舗で買い物をするときの一般的な問題点は次の通りです。 長い決済待ち時間 在庫切れ 店内で商品を見つけることの難しさ ヘルプの不足 商品情報が全く無いかそれに近い状態 お客様はこれらの煩わしさをオンラインで対処する必要がありません。オンラインでは支払いの待ち列はありませんし、商品は検索エンジンで簡単に見つけることができます。商品の詳細を見ることもできます。手助けが必要なときはすぐにチャットウィンドウが利用できます。これらのデジタルにおける利便性はお客様が期待する水準を引き上げました。 2018年における Accenture の調査レポートによると、消費者の91％は、関連するオファーやレコメンデーションを提供するブランドを認識、記憶、買い物をする傾向があります。これは、お客様が店舗でもオンラインと同様のパーソナライズされた買い物体験を望んでいることを示す重要な指標です。 お客様の期待にはロイヤルカスタマーとして認識されること、状況に応じたオファーやプロモーション、その他のパーソナライズされた特典も含まれます。お客様はさらなるパーソナライズを期待し、気に入った小売業者にデータを共有します。もし小売業者が店舗での買い物体験を向上させなければ、体験を向上させている他の小売業者に顧客を奪われてしまうリスクがあるということです。 顧客体験を変革させるスマートストアテクノロジー 小売業者は、以下の拡張機能を使用して、お客様の一般的な問題点に対処し、買い物をタスクからご褒美に変えることができます。

本投稿は AWSのソリューションアーキテクトである John Formento と Syed Shareef による寄稿を翻訳したものです。 3 週間にわたる re:Invent バーチャル カンファレンスをまとめるにあたって、金融業界特集の最初のブログの投稿をします。この連載は、金融業界のお客様に特定のサービスに関する 5 つの重要な考慮事項 を深く掘り下げ、世界規模の金融機関を支援した当社の経験に基づき、AWS サービス利用の承認を効率化することを目的としています。 コンプライアンスの達成 データ保護 コンピューティング環境の隔離 API による監査の自動化 運用上のアクセスとセキュリティ これら 5 つの各領域には、特定のサービスに対するサービス利用の承認を効率化するのに役立つ具体的なガイダンスが含まれています。これは、特定のユースケースと環境に適応する必要がある場合があります。 金融業界のお客様の間で SageMaker の使用が増加したため、Amazon SageMaker ノートブックインスタンスでこの連載を始めます。 Fraud.net のような金融機関は、Amazon の機械学習サービス群を採用し、機械学習モデルを容易に構築してトレーニングし、オンライン決済詐欺を効果的に検出できるようにしています。 または、顧客により多くの価値を提供するレコメンデーションプラットフォームを構築し、データサイエンティストが、プロジェクトを設計から本番環境に迅速に動かします。これはNerdWalletが達成していることです。この組織では、 Amazon の機械学習サービス群を使用して 20 を超える機械学習モデルを提供しており、Amazon DynamoDB と AWS Lambda を使用して、サーバーのプロビジョニングや管理を行わずにコードを実行しています。

アマゾン ウェブ サービス ジャパン株式会社　インダストリー事業開発部　片岡です。 ヘルスケア領域でクラウド活用を検討頂いている医療機関、医療系サービス提供事業者及びパートナーの皆様を対象として、2021年2月18日に「AWSヘルスケアクラウドセミナー」をウェビナーで開催しました。 医療機関でのクラウド利用が本格化し始めています。本ウェビナーにおいて、AWSセッションでは、クラウドの基礎から最新サービスまで幅広くご説明し、お客様セッションでは、国産初の手術支援ロボット「hinotori™」を開発されたメディカロイド様、そして、日本で初めて保険適用を受けた「治療アプリ🄬」を開発されたCureApp様にご登壇頂きました。本記事では、セッションでご紹介しましたAWS最新事例や最新サービス、お客様登壇を含む当日の資料・動画を皆様にご紹介します。

こんにちは！ アマゾンウェブサービスジャパン株式会社 ソリューションアーキテクトの黄です。 2021年3月17日に、 デジタルネイティブ企業のお客様向けに「2021春の機械学習勉強会」を開催いたしました。勉強会の開催報告として、勉強会で行った内容などを公開いたします。 開催の背景 私達ソリューションアーキテクトは日々、多くのお客様とお話しをさせていただく機会がありますが、その中で「サービスに機械学習を取り入れたい」や「機械学習をどの様に始めれば良い？」といったご相談をいただくことがあります。そこで今回は、機械学習に興味があるけどまだ試したことがない方や、これから試そうとしている方に向けて、機械学習の基礎をプログラミングを通じて学ぶ勉強会を開催しました。 勉強会の内容 勉強会は前半座学、後半ハンズオンという2部構成で行い、2名の機械学習の スペシャリストソリューションアーキテクト がそれぞれ前半と後半の講師を担当しました。 機械学習勉強会 – 座学 ( SA 呉 和仁 ) 前半の座学では、まず最初に機械学習とは何かについて解説を行い、機械学習の起源とされている最小二乗法と小惑星セレスの場所を予測した歴史から機械学習の構成要素、及び現在ビジネスへの適用の準備状況などについても解説しました。 座学中盤は、機械学習の種類について、教師あり学習・教師なし学習・強化学習の３種類があることを、画像認識、テキストの感情分析、DeepRacerなどの実例を交えながら解説しました。 座学の最後には、ビジネスに機械学習を取り入れる時に必要な要素、MLプロジェクトの進め方、MLプロジェクトを加速する為の近道などについて解説しました。   機械学習勉強会 – ハンズオン ( SA 鮫島 正樹 ) 勉強会後半のハンズオンでは、 Amazon SageMaker のノートブックインスタンス環境と深層学習フレームワークの Tensorflow を利用した実際のプログラミングを通じた機械学習の手法について体験しました。 ハンズオンでは、 MNIST とよばれる手書き数字の画像データセットと機械学習のライブラリである scikit-learnを使った画像分類を行いました。 k-近傍法 (k-nearest neighbor) 、決定木 (Decision Trees) の実装方法と MNIST へ適用する方法を実際にプログラミングしました。また、二つの手法の違いを推論時間の測定を通じて確認しました。その他のアルゴリズムとして Random Forest も取り上げました。 ハンズオンの後半には、深層学習 (Deep […]

2021 年 3 月 18 日にメディア業界のお客様向けに Analytics & AI/ML をテーマとしたセミナーを開催いたしました。テレビ・動画配信・新聞・雑誌などのメディア企業では、デジタル変革の中でデータを活用する重要性が高まっています。本セミナーではメディア企業がいかにデータを活用し、新たなビジネスを展開していくかに焦点をあてた機械学習の活用方法をご紹介し、お客様に事例をご説明いただきました。

アマゾン ウェブ サービス ジャパン株式会社　インダストリー事業開発部　片岡です。 ヘルスケア・ライフサイエンス領域でクラウド活用を検討頂いているお客様を幅広く対象として、2021年1月28日に「2020年 AWS re:Invent Recapインダストリー編 ヘルスケア・ライフサイエンス」をウェビナーで開催しました。 本記事では、セッションの中でお伝えしました、最新事例や最新サービスを含む当日の資料・動画を皆様にご紹介します。

今日は、皆さんに Amazon SageMaker Debugger が機械学習モデルのプロファイリングを実行できるようになったことをお知らせしたいと思います。これにより、ハードウェアリソースの使用率が原因で生じるトレーニング問題の特定と修正が極めて容易になります。 幅広いビジネス問題に対応する目覚ましいパフォーマンスにもかかわらず、機械学習 (ML) は今も謎めいたところがあるトピックです。物事の的確な実行は、サイエンス、職人技 (魔法と言う人もいます)、そして時には運を組み合わせた錬金術です。特に、モデルトレーニングは、結果がデータセット、アルゴリズムとそのパラメータ、そしてトレーニングを実行するインフラストラクチャの品質に応じて変化する複雑なプロセスです。 ML モデルがかつてない規模に増大し、ますます複雑になるにつれて (深層学習さん、あなたのことです) 拡大している問題のひとつに、モデルをトレーニングするために必要なインフラストラクチャの量があります。たとえば、一般公開されている COCO データセットでの BERT のトレーニングは、単一の p3dn.24xlarge インスタンスで実行すると、それに 8 個の NVIDIA V100 GPU が搭載されているにもかかわらず、6 時間を優に超える時間がかかります。自律走行車企業などのお客様には、はるかに大きなデータセットを扱い、オブジェクト検出モデルのトレーニングに数日間かけるお客様もおられます。 複雑なトレーニングジョブにこれだけの時間がかかると、何らかの不具合が生じてトレーニングが失敗に終わる可能性が非常に高くなり、時間を無駄にするだけでなく、大きないら立ちを感じる原因にもなります。調査を行い、根本的な原因をつきとめて修正を試み、それからトレーニングジョブを再度実行する間、重要な作業は後回しにしなくてはなりません。たいていの場合は、問題を突き止めるために、この手順をかなりの回数繰り返すことになります。 使用している ML フレームワーク、そして時にはそのバージョンによっては、既存のフレームワーク固有のツールを使用できるかどうかもわからず、多くの場合は、独自の特注ツールを構築して維持しなくてはならなくなります。これは、経験豊かなプラクティショナーでさえも大いに苦労する作業で、私のような普通のデベロッパーにとっては、気が遠くなるようなタスクでしかありません。 Amazon SageMaker Debugger のモデルプロファイリングのご紹介 去年の AWS re:Invent でローンチされた Amazon SageMaker Debugger は、ML トレーニングジョブで生じている複雑な問題を自動的に識別する Amazon SageMaker の機能です。これらの問題には、減少しない損失、および勾配爆発などが含まれます。 SageMaker Debugger がハードウェアリソースの使用率も監視できるようになった今、これからはトレーニングジョブをプロファイリングして、リソースの使用率とトレーニングスクリプトの ML オペレーションとの関連付けに役立てることができます。そうすることで、はるかに迅速にパフォーマンス問題を解決し、はるかに高速にトレーニングジョブを反復することができるようになります。 自動運転および運転者支援システムを構築する Intel 企業、Mobileye の […]

今日は、数百から数千ギガバイトにおよぶデータセットでのモデルのトレーニングを容易にする、新しいデータ並列化ライブラリの Amazon SageMaker によるサポートが開始されたことをお知らせしたいと思います。 データセットとモデルがますます大きくなり、高度化するにつれて、大規模な分散型トレーニングジョブを扱う機械学習 (ML) プラクティショナーは、Amazon Elastic Compute Cloud (EC2) p3 および p4 インスタンスなどの強力なインスタンスを使用している場合でさえも、長くなる一方のトレーニング時間に対応しなければなりません。たとえば、8 個の NVIDIA V100 GPU を搭載した ml.p3dn.24xlarge インスタンスを使用しても、一般公開されている COCO データセットでの Mask RCNN および Faster RCNN などの高度なオブジェクト検出モデルのトレーニングには 6 時間以上かかります。これと同じく、最先端の自然言語処理モデルである BERT のトレーニングにも、同一のインスタンスで 100 時間以上かかります。自律走行車企業などのお客様には、大規模な GPU クラスターで何日もかけて実行される、さらに大きなトレーニングジョブを定期的に処理するお客様もおられます。 ご想像どおり、これらの長いトレーニング時間は ML プロジェクトの深刻なボトルネックであり、生産性を損なうと共に、イノベーションを遅らせています。お客様から助けを求められた AWS は、この問題の解決に乗り出しました。 Amazon SageMaker のデータ並列化のご紹介 SageMaker Data Parallelism (SDP) ライブラリのおかげで、Amazon SageMaker を使って ML チームによる分散型トレーニングの時間とコストの削減を実現することが可能になりました。TensorFlow […]