投稿日: Dec 20, 2022
Amazon SageMaker Role Manager ：機械学習ガバナンスの改善に向けた管理者のアクセスコントロールとパーミッション定義が容易に
Amazon SageMaker Model Cards ：機械学習のライフサイクルにおけるモデル情報の文書化とレビューが容易に
Amazon SageMaker Model Dashboard ：モデルの追跡、パフォーマンスの監視、動作履歴のレビューを統合したインターフェースを提供
Amazon SageMaker Studio Notebooksへのデータ準備機能追加：数クリックでデータ品質の視覚的な検査と問題の特定を支援
データサイエンスチームは Amazon SageMaker Studio Notebooks 内でリアルタイムで協同作業が可能に
お客様は自動でノートブックのコードを、本番利用可能なジョブに変換可能に
自動モデル評価機能により、お客様はリアルタイム推論リクエストを使って新しいモデルをテスト可能に
地理空間データへの対応により、お客様は気候科学、都市計画、災害対応、小売計画、精密農業などの機械学習モデルを容易に開発可能に
※本プレスリリースは、現地時間2022 年11 月30 日に米国で発表されたプレスリリースの抄訳版です。
（ラスベガス、2022 年 11 月 30 日）Amazon.com, Inc.（NASDAQ:AMZN）の関連会社である Amazon Web Services, Inc.（AWS）は 11 月 30 日、AWS re:Invent において、エンドツーエンドの機械学習（ML）サービスである Amazon SageMaker 向けに 8 つの新機能を発表しました。開発者、データサイエンティスト、ビジネスアナリストは、Amazon SageMaker のフルマネージドなインフラストラクチャ、ツール、ワークフローを使って ML モデルの構築、学習、デプロイを迅速かつ容易に行うことができます。お客様は、ML を使用してイノベーションを続けるなかで、これまで以上に多くのモデルを作成しており、モデルの開発、使用、パフォーマンスを効率的に管理するための先進的な機能を必要としています。今回発表した Amazon SageMaker の新しいガバナンス機能は ML ライフサイクルにおけるモデル性能を可視化させます。また、新しい Amazon SageMaker Studio Notebooks 機能は、ノートブック体験を向上させ、お客様は数回クリックするだけでデータの検査と品質問題への対処ができ、データサイエンスチーム内のリアルタイムコラボレーションを促進させ、Notebook内のコードを自動ジョブに変換して実験から本番運用までのプロセスを加速させます。最後に、Amazon SageMaker の新しい機能により、モデル検証を自動化し、地理空間データを使った処理を容易にします。Amazon SageMaker の詳細については、以下のウェブサイトをご確認ください。
aws.amazon.com/sagemaker
AWS の 人工知能 ・機械学習担当バイスプレジデントである ブラティン・サハ（Bratin Saha） は、次のように述べています。「現在、規模を問わずあらゆる業界で数万ものお客様に Amazon SageMaker をご利用いただいています。AWS のお客様は毎月、数百万ものモデルを構築し、数十億ものパラメータを使用してモデルをトレーニングし、数兆もの予測をしています。お客様の多くは、数年前には聞いたことがなかったようなスケールで ML を使用しています。今回発表した Amazon SageMaker の新機能は、お客様のチームがさらに容易に ML モデルの開発からデプロイまでのエンドツーエンドのプロセスを促進できるようにします。専用に開発されたガバナンスツールから次世代ノートブック体験まで、また簡素化されたモデルのテストから地理空間データ向け強化サポートまで、AWS は Amazon SageMaker の成功によりお客様が ML の価値を実感いただけるよう支援していきます」
クラウドにより、より多くのユーザーが ML にアクセスできるようになりましたが、数年前までは、モデルの構築、トレーニング、デプロイのプロセスは大変で退屈な作業でした。モデルの本番運用まで、数週間または数ヶ月にわたりデータサイエンティストの小チームが継続的に繰り返し作業をしなければなりませんでした。Amazon SageMaker は、これらの課題に対処するために 5 年前に発表されました。以来、AWS は 250 を超える新機能を追加し、お客様の業務においてML をより使いやすいものにしてきました。現在では、数百名もの Amazon SageMaker 使用者を抱えるお客様も存在し、カスタマーエクスペリエンス向上、業務プロセスの最適化、新製品やサービス開発の加速化に関する最も難しい課題の解決に利用されています。ML 採用の増加に伴い、お客様が使用したいデータの種類も増え、さらにML の責任ある使用をサポートするために必要なガバナンス、自動化、品質保証のレベルも高まっています。今回の発表は、世界中のあらゆるスキルレベルの使用者をサポートする、Amazon SageMaker のイノベーションの歴史に基づいたものです。
Amazon SageMakerの新しい ML ガバナンス機能
Amazon SageMaker の新機能により、お客様の ML モデルライフサイクルにおけるガバナンスのスケールをより容易にします。組織内のモデルとユーザー数の増加により、最小権限のアクセスコントロール設定とモデル情報（インプットデータセット、トレーニング環境情報、モデル使用解説、リスク査定など）を文書化するガバナンスのプロセスの設定がより困難になっています。ひとたびモデルをデプロイしたら、モデルが確実に期待通りに動作するよう、バイアスやドリフトを監視する必要も出てきます。
- Amazon SageMaker Role Manager により、アクセスとパーミッションのコントロールを容易化：適切なユーザーアクセスコントロールは、ガバナンスの基本であり、データプライバシーをサポートし、情報漏洩を防ぎ、ML実践者が業務を進める上で必要なツールに確実にアクセスできるようにします。データサイエンスチームが数十人、または数百人にも膨れ上がるにつれ、これらのコントロールの実装は、ますます複雑化します。ML 管理者（組織の ML システムを作成・監視する人）は、ML ワークフロー内のタスク、リソース、データへのアクセスコントロール中に、開発を簡素化するための努力をバランスよく行わなければなりません。現在、管理者はスプレッドシートの作成またはアドホックリストの使用により、数十種類もの異なる活動（データの準備、トレーニングなど）と役割（ML エンジニア、データサイエンティストなど）に必要なアクセスポリシーをナビゲートしています。これらのツールの維持は手作業で行われるため、新しいユーザーが効果的に仕事をする必要がある特定のタスクを見極めるのに数週間かかる場合もあります。Amazon SageMaker Role Manager は、ユーザーに対する管理者のアクセスコントロールと許可定義を容易にします。管理者は、様々なユーザーの役割と責任に基づいて事前に構築されたテンプレートを選択、編集できます。その後、このツールは、必要な許可の付いたアクセスポリシーを数分以内に自動的に作成し、ユーザーのオンボーディングと管理にかかる時間と労力を削減します。
- Amazon SageMaker Model Cards は、モデル情報収集を簡素化：現在、ほとんどのML実践者がモデル開発や評価の際の業務要件、主要な決定、観測結果の文書化に、様々なツール（e メール、スプレッドシート、テキストファイルなど）を使用しています。承認ワークフロー、登録、監査、お客様の問合せ、監視をサポートするためこの情報を必要としていますが、各モデルの詳細を収集するには数ヶ月かかります。そのため、中には複雑な記録システムを構築して、問題解決を試みる人もいますが、これは手作業で時間がかかり、ミスが起こりやすくなります。Amazon SageMaker Model Cards は、AWS コンソール内にモデル情報を保管するロケーションを 1 つにし、モデルのライフサイクルにおける文書化を効率的に行います。この新機能により、入力データセット、トレーニング環境、トレーニング結果などのトレーニングの詳細を、直接 Amazon SageMaker Model Cards 内に自動で設定されます。ML実践者は、モデル情報（性能目標、リスク評価など）、トレーニングおよび評価の結果（バイアスや正確さの測定など）を文書化するために、セルフガイダンス式の質問票を使用して、追加情報を含めることもでき、将来の参考用に観測結果を記録して、ガバナンスを改善し、ML の責任ある使用をサポートします。
- Amazon SageMaker Model Dashboard は、ML モデル追跡のためセントラルインターフェースを提供：本番環境にモデルがデプロイされると、ML 実践者はそのモデルがどうのように動作するかを理解し、潜在的な課題を把握するため、時間をかけてそのモデルを追跡したいと考えます。このタスクは通常、個々の使用者が各モデルに対して個別に行いますが、組織が数千ものモデルを導入し始めると、この作業はますます複雑化し、より多くの時間とリソースが必要となります。Amazon SageMaker Model Dashboard は、デプロイされたモデルとエンドポイントの包括的な概要を提供し、使用者が 1 か所でリソースとモデルの動作を追跡できるようにします。ダッシュボードから、Amazon SageMaker Model Monitor（AWS のモデルとデータのドリフト監視能力）および Amazon SageMaker Clarify（AWS の ML バイアス検出機能）を組み込み、使用することもできます。モデルの動作とパフォーマンスをエンドツーエンドで可視化することにより、ML ガバナンスプロセスを簡素化し、モデルの問題を迅速にトラブルシューティングするために必要な情報を提供します。
Amazon SageMaker ガバナンス機能の詳細については、以下のウェブサイトをご確認ください。
aws.amazon.com/sagemaker/ml-governance
次世代ノートブック
Amazon SageMaker Studio Notebooks は、データ探索から導入まで、完全に管理されたノートブック体験を使用者に提供します。チームの規模と複雑さが増すにつれ、数十人もの使用者がノートブックを使用して、共同でモデルを開発することが必要になる場合があります。AWS は、3 つの新機能により、お客様がノートブックコードを調整、自動化することを支援し、ユーザーに最適なノートブック体験を提供します。
- 簡素化したデータ準備：ML 実践者は、トレーニング用にデータを準備する際、潜在的なデータ品質の問題（誤った情報、はずれ値、歪みのあるデータセット、バイアスなど）を修正するために、ノートブック内で直接データセットを探索したいと考えています。使用者は、問題の特定と解決に向けて、データセットの異なる部分を可視化し調べるため、ほとんど変わらない定型的なコードを書くのに数ヶ月もかけています。今回、Amazon SageMaker Studio Notebooks では、組み込みデータ準備機能を備え、ML実践者がデータ特性を視覚的にレビューできるようにして、数回クリックするだけでデータ品質問題を修正できるようにします。これはすべてノートブック環境内で実行可能です。ユーザーがノートブックにデータフレームを表示させる時（つまり、データの表形式表示）、Amazon SageMaker Studio Notebooks は、自動的にチャートを作成し、ユーザーがデータ品質問題を特定するのを支援し、共通問題の解決支援のためデータ変換を提案します。使用者がデータ変換を選択すると、Amazon SageMaker Studio Notebooks は、対応するコードをノートブック内に作成して、ノートブックを動作させるたびに繰り返し適用できるようにします。
- データサイエンスチーム内の共同作業を加速：データの準備が完了すると、モデルの開発を開始する準備が整います。このプロセスは繰り返し行われるため、チームが1つのノートブックで共同作業する必要がある場合もあります。現在、チームはノートブックと他のアセット（モデルとデータセットなど）を メールやチャットアプリで交換し、リアルタイムで一緒に 1 つのノートブックで作業しなければなりません。これは、連絡疲れ、フィードバックループの遅延、バージョン管理の問題を招きます。Amazon SageMaker は今回、チームにワークスペースを提供し、リアルタイムで複数のノートブックを読み、編集し、動作できるようにし、共同作業と連絡を簡素化しています。チームメートは、一緒にノートブックの結果をレビューでき、情報を行き来させずにモデルがどのように動作するかを即座に理解できます。BitBucket と AWS CodeCommit のようなサービスのための内蔵サポートにより、チームは異なるノートブックバージョンを簡単に管理でき、経時的な変化を比較できます。関連するリソース、例えば実験や ML モデルも自動的に保存され、チームがまとまって作業できるよう支援します。
- ノートブックコードを本番対応ジョブへ自動変換：トレーニングが終了したMLモデルを本番に移動させたい時は通常、コードのスニペットをノートブックからスクリプト内にコピーし、そのスクリプトをそのすべての依存関係のものと共にコンテナ内にパッケージ化し、そのコンテナの動作予定を組み込みます。このジョブを予定通りに繰り返し動作させるために、継続的インテグレーションと継続的デリバリー（CI/CD）パイプラインを設定・管理しなければ、それらの導入を自動化できません。すべての必要なインフラを設定するには数週間かかり、主要 ML 開発活動から時間を奪っています。今では Amazon SageMaker Studio Notebooks により、使用者がノートブックを選択してそれを本番環境で動作するジョブとして自動化することができます。ノートブックが選択されると、Amazon SageMaker Studio Notebooks は、ノートブック全体のスナップショットを撮り、その依存関係のものをコンテナ内にパッケージ化し、インフラを構築し、使用者が設定した予定通りに自動化されたジョブとして、そのノートブックを動作させ、ジョブ完了時にそのインフラのプロビジョニングを解除します。それにより、ノートブックを本番に移行させるのに数週間かかったのを数時間に削減します。
次世代 Amazon SageMaker Studio Notebooks とこれらの新機能の詳細は、こちらのウェブサイトをご確認ください。
aws.amazon.com/sagemaker/notebooks
リアルタイム推論リクエストを使った新しいモデルの自動検証
ML 実践者は、各モデルを本番展開前にテスト・検証し、性能確認をして業務に影響を与える可能性のあるエラーを特定します。通常、過去の推論リクエストデータを使って、新しいモデルの性能をテストしますが、このデータは、現在の実際の推論リクエストに時として対応していません。例えば、最速ルートを計画するため ML モデルの過去データは、交通の流れを著しく変える事故や突然の道路閉鎖には対応しない可能性があります。この問題に対処するため、使用者はテストしたい新モデルに、本番モデルへの推論リクエストのコピーを送ります。このテストインフラを構築し、推論リクエストをミラーリングし、モデルが主要メトリクス（例えば、レイテンシーやスループット）においてどのように動作するのかを比較するには、何週間もかかります。これにより、そのモデルがどのように動作するかについて、使用者は更に自信が持てる一方、何百、何千ものモデルに対してこれらのソリューションを実行するには、費用と複雑さが途方もないものとなります。
Amazon SageMaker Inference は今回、リアルタイムで実際の推論リクエストと同じものを使って、本番モデルと新モデルの動作比較をより容易にできるようにする機能を備えました。これにより、何千もの新モデルを、それぞれのテストインフラを構築せずに、同時にテストする拡張が容易になります。まず、お客様はテストする本番モデルを選択し、Amazon SageMaker Inference がその新モデルを、まったく同じ条件のホスティング環境にデプロイします。Amazon SageMaker は、本番モデルが受け取った推論リクエストのコピーを新モデルに送り、ダッシュボードを作成して主要メトリクス内の差異を表示します。それにより、お客様はリアルタイムで各モデルの差異を見ることができます。お客様がその新モデルの性能を検証して、潜在的エラーがないという自信を得れば、安全にそれをデプロイできます。Amazon SageMaker Inference の詳細については、こちらのウェブサイトをご確認ください。
aws.amazon.com/jp/sagemaker/shadow-testing
Amazon SageMaker の新しい地理空間機能により、お客様が衛星や位置データを用いた予測をより容易に
現在、地理空間情報（例：位置座標、天気図、交通データ）は、そのうちのわずかなデータのみが ML 目的で使用されています。その理由は、地理空間データセットを使った作業が難しく、都市全体や何千エーカーもの土地をスキャンする時、ペタバイト規模の大きなサイズになることもあるからです。地理空間モデルを構築するには、お客様は通常、衛星画像や地図データのような第三者のデータソースを調達して自分たちのデータを強化します。使用者は、このデータを組み合わせ、トレーニング用に整えてから、コードを書いて、データセットを管理可能なサブセットに分けて、巨大サイズの地理空間データに対応する必要があります。お客様は、それらの訓練されたモデルを導入する準備が整ったら、さらにコードを書き、複数のデータセットを再度組み合わせて、そのデータと ML モデル予測を互いに関係付けさせなければなりません。その後、学習が終了したモデルから予測を取り出すには、地図に表すためのオープンソースの可視化ツールを使って、何日もかけて作業する必要があります。データ強化から可視化までの全プロセスには何か月もかかり、お客様にとっては、地理空間データの恩恵を得たり、ML 予測を適宜作成したりすることに困難を伴います。
Amazon SageMaker は今回、お客様がデータセットの強化、地理空間モデルのトレーニング、結果の可視化を数か月ではなく数時間でできるようにすることで、地理空間ML予測の作成を加速・簡素化させます。数回クリックするだけで、または、APIを使うことで、お客様は Amazon SageMaker を介して、AWS（例：Amazon Location Service）、信頼できる第三者プロバイダー（例：Planet Labs）、オープンソースのデータセット（例：Amazon Open Data）から幅広い地理空間データソースにアクセスできます。使用者が、使いたいデータセットを選択すると、内蔵オペレーターにより、それらのデータセットを自分たちのデータと組み合わせることが可能となります。モデル開発のスピードアップのため、Amazon SageMaker は、精密農業の収量拡大、自然災害後の区域監視、都市計画改善のような使用目的で事前トレーニングされたディープラーニングモデルへのアクセスを自動的に提供します。トレーニング後、ビルトインの可視化ツールがデータを地図上に表示させ、お客様による新たな予測を支援します。Amazon SageMaker の新機能の詳細については、こちらのウェブサイトをご確認ください。
aws.amazon.com/sagemaker/geospatial
HERE Technologies は、主要な位置データとテクノロジーのプラットフォームであり、お客様が、高度に精密な位置データに基づくカスタムマップとローケーションエクスペリエンスを作成する支援をしています。HERE Technologies の最高製品・テクノロジー責任者である Giovanni Lanfranchi 氏は、次のように述べています。「お客様は、空間のパターンと傾向からの洞察からビジネス上の意思決定を行う時にリアルタイムの状況把握が必要です。当社は、様々なソースから位置情報データを自動的に取得し、状況を加味してデータを強化し分析を加速するため、ML を活用しています。Amazon SageMaker の新しいテスト機能により、本番において ML モデルをより厳密かつ積極的にテストでき、また、導入モデルのエラーによるお客様への悪影響と潜在的機能停止を回避できます。これは、当社のお客様が刻々と変化するリアルタイムの位置データに基づくタイムリーな状況把握を、当社に頼ってくださっていることを考えると、きわめて重要なことです」
Intuit は、TurboTax、Credit Karma、QuickBooks、Mailchimp により、世界中の 1 億以上のお客様に繁栄をもたらす世界的なフィナンシャルテクノロジープラットフォームです。Intuit のエンジニアリング・製品開発ディレクターである Brett Hollman氏は、次のように述べています。「当社は、データの力を使って当社のプラットフォーム上で消費者、個人事業主、零細企業の財務環境に変化をもたらしています。チームの効率性をさらに向上させ、AI 搭載製品を市場にスピーディに投入するため、当社は SageMaker Studio Notebooks の新しいチーム共同作業機能の設計において、AWS と緊密に協働しています。当社はコミュニケーションと共同作業を簡素化し、Amazon SageMaker Studio を使って、ML の開発を拡張できることを楽しみにしています」