投稿日: Nov 10, 2021
Amazon SageMaker Inference は、機械学習モデルを更新するため、新モデルのデプロイオプションをサポートしています。新しいデプロイガードレールを使用して、生産中の現行モデルから新モデルへ制御された方法で簡単に切り替えることができます。今回の起動で、canary と linear の各モードが導入され、更新中に現行モデルから新モデルへのトラフィック移行のきめ細かい制御ができるようになりました。自動ロールバックなどの安全装置が組み込まれているため、素早く問題を発見して生産に大きな影響が出る前に、自動的な修正作業を実行することができます。
Amazon SageMaker は、機械学習専用に構築された幅広い一連の機能をまとめて提供することにより、データサイエンティストとデベロッパーが高品質の機械学習モデルを迅速に準備、構築、トレーニング、およびデプロイするのを支援するフルマネージドサービスです。トレーニングした機械学習モデルを Amazon SageMaker にデプロイし、エンドポイントのプロビジョニング、パッチ適用、更新されるため、機械学習を使ったアプリケーション強化に集中することができます。SageMaker で新しいバージョンの機械学習モデルや配信コンテナでエンドポイントを更新する必要があるため、更新内容を含む新しいフリート (グリーンフリート) を立ち上げ、一度に既存フリート (ブルーフリート) からトラフィックをシフトさせます。これをブルー/グリーンデプロイと呼びます。これで、更新中でもエンドポイントがリクエストに応答できるようになり、可用性が最大化します。
今回の起動で、Amazon SageMaker はブルー/グリーンデプロイに canary と linear のトラフィックシフトモードを追加します。これらのモードは、きめ細かくフリート間を制御できるためトラフィックを増やす前に信頼性を構築することができます。さらに、メトリクスでの CloudWatch アラームを事前指定してレイテンシーやエラーレートなどのアラームが作動した場合、自動的にデプロイをブルーフリートにロールバックすることができます。Canary モードでは、一部のトラフィックをグリーンフリート (canary フリートと呼びます) にシフトして、一定期間 (ベーキング期間と呼びます) Canary フリートの動きを観察して、ベーキング期間中にアラームが発生しなかった場合のみ、トラフィックの残りをシフトすることが可能になります。Linear モードでは、設定できる一定の増分 (例えば 10 %) でグリーンフリートにトラフィックをシフトし、次の増分をシフトする前にベーキング期間の動きを観察します。すべてのブルー/グリーンデプロイは、ブルーフリートを終了する前にすべてのトラフィックがシフトした後 (最終ベーキング期間と呼ばれます) のフリートを観察することができます。これらのトラフィックシフトモードは、生産に新モデルを導入するリスク管理と更新期間を管理するトレードオフのバランスをとるのに役立ち、ユースケースに応じた適切なオプションを選択することができます。トラフィックを一度にシフトすることで更新期間を最小限にし、linear モードは複数のステップでトラフィックをシフトさせ、生産に新モデルを導入するリスクを最小限に抑えることができます。Canary モードは、すべてのトラフィックを 2 つのステップでシフトさせ、リスクと更新期間のバランスをとっています。