Amazon SageMaker のシャドウテスト
新しい ML モデルのパフォーマンスを本番モデルと比較して検証し、コストのかかる停止を防止します
新しい ML モデルと本番モデルを比較することで、エンドユーザーに影響を与える前に潜在的な設定エラーを発見することができます。
モデルの変更、コンテナの更新、新しいインスタンスを本番トラフィックで評価することにより、推論パフォーマンスを向上させます。
テストインフラストラクチャを構築する週数を削減し、モデルをより迅速に本番環境にリリースします。
仕組み
SageMaker は、新しい機械学習 (ML) モデルを本番リリース前に評価するために、現在デプロイされているモデルに対してそのパフォーマンスをテストするシャドウテストの実行を支援します。シャドウテストは、潜在的な設定エラーやパフォーマンスの問題を、エンドユーザーに影響を与える前に発見するのに役立ちます。ユーザーに影響を与える前に発見するのに役立ちます。
主な特徴
完全な管理のテスト
SageMaker のシャドウテストでは、独自のテストインフラストラクチャの構築に投資する必要がないため、モデル開発に集中することができます。テストしたい本番モデルを選択するだけで、SageMaker は自動的に新しいモデルをテスト環境にデプロイします。そして、本番モデルが受け取った推論リクエストのコピーを新しいモデルにリアルタイムでルーティングし、レイテンシーやスループットなどのパフォーマンスメトリクスを収集します。
ライブパフォーマンス比較ダッシュボード
SageMaker は、新しいモデルと本番モデルのレイテンシーやエラー率などのパフォーマンスメトリクスを並べて比較表示するライブダッシュボードを作成します。テスト結果を確認し、モデルを検証したら、本番に進めることができます。
きめ細かいトラフィック制御
SageMaker でシャドウテストを実行する場合、テストモデルに送られる推論リクエストの割合を設定することができます。このように入力トラフィックをコントロールすることで、小規模なテストから始めて、モデルのパフォーマンスに確信が持てた後にテストを増やすことができます。
お客様
「Amazon SageMaker の新しいテスト機能により、本番環境で ML モデルをより厳密かつ積極的にテストし、導入したモデルのエラーによる顧客への悪影響や停止を回避できるようになりました。当社のお客様は、刻々と変化するリアルタイムの位置情報データに基づいてタイムリーなインサイトを提供することを当社に求めているため、これは非常に重要なことです。」
HERE Technologies 最高製品技術責任者 Giovanni Lanfranchi 氏