Amazon SageMaker が今後も機械学習のトップランナーであり続けることの宣言と、GPU インスタンス料金の最大 18% 引き下げのお知らせ

アマゾン ウェブ サービス (AWS) は 2006 年以来、何百万人にも上るお客様の IT ワークロードの構築と管理を支援してきました。スタートアップ企業から大規模エンタープライズ、公共機関まで、あらゆる規模の組織が AWS のクラウドコンピューティングサービスを利用して、過去に例のないレベルのセキュリティ、回復力、スケーラビリティを実現しています。毎日、お客様はこれまでより短い時間とより低いコストで、実験、イノベーション、本番環境デプロイを行っています。その結果、追求、獲得したビジネスチャンスを、産業グレードの製品およびサービスに変換することが可能になりました。

お客様にとって機械学習の優先順位が上がってくるにつれて、同じ俊敏性と堅牢性を十分に備えた機械学習サービスの構築が求められるようになりました。その結果、フルマネージド型サービスである Amazon SageMaker が AWS re:Invent 2017 で発表、リリースされ、あらゆるデベロッパーやデータサイエンティストが機械学習モデルを高速で構築、トレーニング、デプロイできるようになりました。

Amazon SageMaker は現在、あらゆる業種の数万人に上るお客様が本番環境で高品質のモデルを構築、トレーニング、デプロイするのを支援しています。その例としては、金融サービス (Euler Hermes、Intuit、Slice Labs、Nerdwallet、Root Insurance、Coinbase、NuData Security、Siemens Financial Services)、ヘルスケア (GE Healthcare、Cerner、Roche、Celgene、Zocdoc)、報道およびメディア (Dow Jones、Thomson Reuters、ProQuest、SmartNews、Frame.io、Sportograf)、スポーツ (Formula 1、Bundesliga、Olympique de Marseille、NFL、Guiness Six Nations Rugby)、小売 (Zalando、Zappos、Fabulyst)、オートモーティブ (Atlas Van Lines、Edmunds、Regit)、デートアプリ (Tinder)、ホスピタリティ (Hotels.com、iFood)、産業および製造業 (Veolia、Formosa Plastics)、ゲーム (Voodoo)、カスタマーリレーションシップマネジメント (Zendesk、Freshworks)、エネルギー (Kinect Energy Group、Advanced Microgrid Systems)、不動産 (Realtor.com)、衛星画像 (Digital Globe)、人事管理 (ADP) があり、他にも多数存在します。

Amazon SageMaker で機械学習ワークロードを標準化することを決めた理由をお客様にたずねたところ、「SageMaker によって、機械学習プロセスの各ステップから差別化につながらない負担の大きな作業が排除されます。」という答えが最も一般的でした。さらにお話を聞くと、SageMaker の貢献度が最も高い領域を 5 つ特定できました。

#1 – 安全かつ信頼性の高い機械学習モデルの構築が高速化する
多くの機械学習モデルは、ビジネスアプリケーションとエンドユーザーに対するリアルタイムの予測提供を目的に使用されるため、可用性と高速性を確保することが最重要です。Amazon SageMaker エンドポイントに、複数の AWS アベイラビリティーゾーン間における負荷分散のサポートが組み込まれていることと、プロビジョニング済みインスタンスの数を受信トラフィックに合わせて動的に調整する Auto Scaling が組み込まれていることの理由は、そこにあります。

堅牢性とスケーラビリティをさらに高めるために、Amazon SageMaker は、TensorFlow Serving、マルチモデルサーバー、TorchServe などのプロダクショングレードのオープンソースモデルサーバーに依存しています。AWS と Facebook のコラボレーションである TorchServe は PyTorch プロジェクトの一部として利用可能で、カスタムコードを記述することなく、トレーニングされたモデルを大規模かつ容易にデプロイすることができます。

回復力に優れたインフラストラクチャとスケーラブルなモデルサービングに加えて、Amazon SageMaker Model Monitor を使用して、エンドポイントで発生する可能性のある予測品質の問題を検出することもできます。受信リクエストと送信予測を保存し、トレーニングセットから構築されたベースラインと比較することで、欠落している機能やデータドリフトなどの問題をすみやかに特定して修正できます。

Veolia Water Technologies の最高デジタル責任者、Aude Giard 氏の発言をご紹介します。「AWS と協力して、淡水化プラントにおける水の濾過膜の清掃または交換をいつするべきか予測するプロトタイプを、わずか 8 週間で開発しました。Amazon SageMaker を使用して、過去のパターンから学習して汚染インジケータの将来の進化を予測する機械学習モデルを構築しました。AWS で機械学習ワークロードを標準化することで、コストを削減し、ダウンタイムを回避しながら、生産される水の品質を改善できました。これらの結果は、技術的な経験、信頼と、同じゴール、つまり清潔かつ安全な水の安定供給を達成しようする両社のチームの献身がなければ、実現できなかったでしょう。」詳細についてはこちらの動画をご覧ください。

#2 – 機械学習モデルを独自の方法で構築する
モデルの構築に関して、Amazon SageMaker では多くのオプションが提供されます。AWS Marketplace にアクセスし、AWS パートナーがシェアするアルゴリズムまたはモデルを選択したら、わずか数回クリックするだけで SageMaker にデプロイできます。または、組み込みアルゴリズムの 1 つか、一般的なオープンソースの機械学習フレームワーク (TensorFlow、PyTorch、Apache MXNet) 向けに記述された独自のコードか、Docker コンテナにパッケージ化された独自のカスタムコードのいずれかを使用して、モデルをトレーニングすることもできます。

また、革新的な AutoML 機能を搭載した Amazon SageMaker AutoPilot を利用することも可能です。機械学習の経験がゼロまたはほとんどない初心者の方でも、数百ものデータセットを探索する必要があるベテランのプラクティショナーでも、たった 1 つの API コールを実行するだけで、SageMaker AutoPilot にすべてを処理させることができます。SageMaker AutoPilot は自動的に、データセットを分析し、解決しようとしている問題のタイプを特定し、いくつかのデータ処理パイプラインとトレーニングパイプラインを構築して、それらをトレーニングし、最適化して精度を最大限に高めます。さらに、データ処理およびトレーニングのソースコードは、自動生成された、レビュー可能なノートブックで入手できます。そこからさらなる実験を行うことが可能です。また、SageMaker Autopilot では、最大 40% 高速に、かつ最大 200% 向上した精度で、機械学習モデルを作成できるようになりました。これは、小規模の不均衡なデータセットであっても変わりません。

自動モデルチューニングもポピュラーな機能です。手動の探索や、実行に何日もかかる高コストのグリッド検索ジョブが不要になります。機械学習の最適化を使用することで、SageMaker ではハイパフォーマンスモデルにすみやかに収束するため、時間とコストが節約され、最適モデルの本番環境デプロイが高速化します。

「NerdWallet ではお客様をパーソナライズされた金融商品と結び付ける際には、データサイエンスと機械学習に依存しています」と同社シニアエンジニアリングマネージャーの Ryan Kirkman 氏は言います。「AWS で機械学習ワークロードを標準化することを選択したのは、データサイエンスのエンジニアリングプラクティスを迅速にモダナイズできるうえに、障害が取り除かれ、提供までの時間が短縮されるからです。Amazon SageMaker を使用すると、データサイエンティストは戦略の追求に使える時間が増えて、私たちに競争優位性がある領域、つまりユーザーのために解決しようとしている問題に対するインサイトに、エネルギーをさらに集中させることができます。」詳細については、こちらの導入事例をご覧ください。

Freshworks Platform の製品担当シニアディレクターである Tejas Bhandarkar 氏は次のように述べています。「AWS で機械学習ワークロードを標準化することにしたのは、お客様のユースケースに合わせて最適化された機械学習モデルを簡単に構築、トレーニング、デプロイできるからです。Amazon SageMaker のおかげで、11,000 人のお客様に 30,000 を超えるモデルを構築し、これらのモデルのトレーニング時間を 24 時間から 33 分足らずにまで短縮することができました。SageMaker Model Monitor を使用すると、データドリフトを追跡して、精度を確保するためにモデルを再トレーニングすることができます。Amazon SageMaker を活用した Freddy AI スキルは、スマートアクション、ディープデータインサイト、インテントドリブン型の会話によって絶えず進化しています。」

#3 – コストを削減する
独自の機械学習インフラストラクチャの構築と管理には高いコストがかかることがあるため、Amazon SageMaker は優れた選択肢です。Amazon SageMaker の 3 年間の総所有コスト (TCO) は、他のクラウドオプションと比較して 54% 以上低くなり、デベロッパーの生産性は最大 10 倍になることが判明しています。これらの利点は、Amazon SageMaker によって、機械学習で通常求められるすべてのトレーニングと予測インフラストラクチャが管理され、チームが手元の機械学習の問題を研究、解決することに専念できるという事実から生まれています。

さらに、Amazon SageMaker には、トレーニングジョブを可能な限り高速にかつコスト効率よく実行するのに役立つ機能が多数含まれています。その中には、最もポピュラーな機械学習ライブラリの最適化バージョン、最大 100 GB のネットワークで構成される広範な CPU および GPU インスタンス群、そしてもちろん、トレーニングジョブのコストを最大 90% 節約できるマネージドスポットトレーニングがあります。最後にご紹介する重要な機能は、機械学習トレーニングジョブで発生する複雑な問題を自動で特定する、Amazon SageMaker Debugger です。非生産的なジョブは早期に終了し、トレーニング中に取得したモデル情報を使用して根本原因を特定することができます。

Amazon SageMaker は、予測コストの削減にも貢献します。マルチモデルエンドポイントを利用すると、ある 1 つの予測エンドポイントに複数のモデルをデプロイできるため、トラフィックの少ないエンドポイントを多数実行することによる余分な作業とコストを回避できます。本格的な GPU なしでのハードウェアアクセラレーションが必要なモデルでは、Amazon Elastic Inference により予測コストを最大 90% 節約できます。この領域の対極として、大規模な予測ワークロードでは AWS が設計したカスタムチップである AWS Inferentia を利用できるため、GPU インスタンスに比べてスループットが最大 30% 向上し、推論あたりのコストが最大 45% 削減されます。

Lyft は、米国およびカナダで最大級の交通ネットワークであり、2017 年に Level 5 自動運転車部門を立ち上げ、数百万人もの運転手を支援する自動運転システムを開発しました。Lyft Level 5 では、毎日 10 テラバイトを超えるデータが集約され、自動運転車フリート用の機械学習モデルがトレーニングされています。機械学習ワークロードを独自に管理することは、次第に時間とコストがかかることになっていっていました。Lyft Level 5 の機械学習システムリードである Alex Bain 氏は次のように述べています。「Amazon SageMaker の分散トレーニングを使用することで、モデルのトレーニング時間を数日レベルから数時間レベルに短縮できました。AWS で機械学習ワークロードを実行することで、開発サイクルが合理化され、コストが削減されて、最終的に自動運転機能をお客様に提供するというミッションが高速化しました。」

#4 – セキュアかつコンプライアントな機械学習システムを構築する
AWS では、セキュリティが常に最優先事項です。金融サービスやヘルスケアなどの規制業界で事業展開するお客様にとってセキュリティが特に重要なのは、最高レベルのセキュリティとコンプライアンスが確保されたソリューションを実装する必要があるためです。これを目的として、Amazon SageMaker では多くのセキュリティ機能を実装しており、SOC 1/2/3、PCI、ISO、FedRAMP、DoD CC SRG、IRAP、MTCS、C5、K-ISMS、ENS High、OSPAR、HITRUST CSF のグローバル標準に準拠しています。また、HIPAA BAA の対象でもあります。

Intuit の最高データ責任者である Ashok Srivastava 氏は以下のように述べています。「Amazon SageMaker を使用して、プラットフォーム上でアルゴリズムを構築してデプロイすると、人工知能イニシアチブを大規模に高速化できます。私たちは、新しい大規模な機械学習と AI のアルゴリズムを作成し、このプラットフォーム上にデプロイして、お客様の繁栄を促進するような複雑な問題の解決を行っています。」

#5 – データに注釈を付け、ヒューマンインザループを維持する
機械学習プラクティショナーならご存知だと思いますが、データをデータセットに変換するのには、多くの時間と労力が必要です。その時間と労力を削減するためにフルマネージド型のデータラベリングサービスである Amazon SageMaker Ground Truth を使用すると、あらゆるスケールで高精度のトレーニングデータセット (テキスト、画像、動画、3D ポイントクラウドデータセット) の注釈付けおよび構築を簡単に行えます。

AstraZeneca の病理学研究ディレクターである Magnus Soderberg 氏は、次のように述べています。「AstraZeneca では、研究開発のあらゆる段階で機械学習を試し、最近では病理学研究において組織サンプルのレビューを高速化しています。機械学習モデルはまず、大規模かつ代表的なデータセットから学習します。特に、高精度なモデルをトレーニングするために数千もの組織サンプル画像を取得できるこのケースでは、データのラベリングも時間のかかるステップになります。AstraZeneca では機械学習によるヒューマンインザループ型のデータラベリングおよび注釈サービスである Amazon SageMaker Ground Truth を使用して、こうした作業の最も煩雑な部分のいくつかを自動化しているため、サンプルのカタログ作成に要する時間が少なくとも 50% 短縮されました。」

評価される Amazon SageMaker
サービス開始以降、数百の新機能が Amazon SageMaker に追加されましたが、これはお客様に代わり絶え間なくイノベーションを起こしていることの証しです。本サービスは実際に、2020 年 2 月に Gartner の Cloud AI Developer Services Magic Quadrant で総合トップとしてハイライトされました。Gartner の会員であれば、こちらをクリックすると、「Solution Scorecard for Amazon SageMaker, July 2020」において総合スコアが 84/100 と同業集団の中で AWS が最高評価を得た理由の詳細をご覧いただけます。Gartner によると、AWS は必須基準の 87%、推奨基準の 73%、オプション基準の 85% を満たしていました。

GPU インスタンスの料金引き下げのお知らせ

お客様の信頼に感謝を込めて、また Amazon SageMaker をコスト効率が最も高い最良の機械学習サービスにするという AWS の継続的なコミットメントを示すために、すべての ml.p2 および ml.p3 GPU インスタンスの大幅な料金引き下げを発表します。新料金は 10 月 1 日以降、すべての SageMaker コンポーネントに適用されます。対象リージョンは、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、欧州 (アイルランド)、欧州 (フランクフルト)、欧州 (ロンドン)、カナダ (中部)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ソウル)、アジアパシフィック (東京)、アジアパシフィック (ムンバイ)、AWS GovCloud (US-Gov-West) です。

Amazon SageMaker の開始方法
もうおわかりかと思いますが、Amazon SageMaker ではエキサイティングな機能を多数ご用意しています。ぜひお試しください。 Amazon SageMaker はワールドワイドに利用可能であるため、簡単に独自のデータセットで仕事に取りかかることができます。本サービスは AWS 無料利用枠の対象であるため、新規ユーザーは最初の 2 か月間に数百時間無料でサービスを利用できます。

やってみたいと思われたら、このチュートリアルからわずか数分で開始できます。SageMaker Studio を使用して、XGBoost アルゴリズムをベースにした分類モデルを構築、トレーニング、デプロイする方法を紹介しています。

最後に大事なお知らせです。最近「Learn Amazon SageMaker」という本を出版しました。60 以上のオリジナルの Jupyter ノートブックを使い、500 ページにわたって SageMaker の全機能を詳細に説明しています。これを読めば、すぐさまスピードアップすることができるはずです。

いつものように、読者の皆様からのフィードバックをお待ちしています。フィードバックは、通常の AWS サポート担当者にシェアするか、または SageMaker 用の AWS フォーラムでシェアしてください。

– Julien