Amazon SageMaker のシャドウテスト

新しい ML モデルのパフォーマンスを本番モデルと比較して検証し、コストのかかる停止を防止します

新しい ML モデルと本番モデルを比較することで、エンドユーザーに影響を与える前に潜在的な設定エラーを発見することができます。

モデルの変更、コンテナの更新、新しいインスタンスを本番トラフィックで評価することにより、推論パフォーマンスを向上させます。

テストインフラストラクチャを構築する週数を削減し、モデルをより迅速に本番環境にリリースします。

仕組み

SageMaker は、新しい機械学習 (ML) モデルを本番リリース前に評価するために、現在デプロイされているモデルに対してそのパフォーマンスをテストするシャドウテストの実行を支援します。シャドウテストは、潜在的な設定エラーやパフォーマンスの問題を、エンドユーザーに影響を与える前に発見するのに役立ちます。ユーザーに影響を与える前に発見するのに役立ちます。

図は、Amazon SageMaker のシャドウテストを使用して、新しい ML モデルのパフォーマンスと本番モデルとの比較を示しています

主な特徴

完全な管理のテスト

SageMaker のシャドウテストでは、独自のテストインフラストラクチャの構築に投資する必要がないため、モデル開発に集中することができます。テストしたい本番モデルを選択するだけで、SageMaker は自動的に新しいモデルをテスト環境にデプロイします。そして、本番モデルが受け取った推論リクエストのコピーを新しいモデルにリアルタイムでルーティングし、レイテンシーやスループットなどのパフォーマンスメトリクスを収集します。

ライブパフォーマンス比較ダッシュボード

SageMaker は、新しいモデルと本番モデルのレイテンシーやエラー率などのパフォーマンスメトリクスを並べて比較表示するライブダッシュボードを作成します。テスト結果を確認し、モデルを検証したら、本番に進めることができます。

きめ細かいトラフィック制御

SageMaker でシャドウテストを実行する場合、テストモデルに送られる推論リクエストの割合を設定することができます。このように入力トラフィックをコントロールすることで、小規模なテストから始めて、モデルのパフォーマンスに確信が持てた後にテストを増やすことができます。