投稿日: Feb 28, 2018
Amazon SageMaker コンソール、AWS Auto Scaling API、および AWS SDK から容量管理をより簡単にするために、エンドポイントの Auto Scaling を設定することができます。Amazon SageMaker を使用して、エンドポイントごとのインスタンスの数とタイプを指定して、推論に必要なスケールを求めることができます。推論の容量が変更された場合、その変更に対応するために各エンドポイントに対応するインスタンスの数またはタイプ、もしくはその両方を変更できます。Auto Scaling を使用することで、低コストで予測可能なパフォーマンスを維持するために、推論の容量を自動的に調整できます。Amazon SageMaker コンソールから、エンドポイントの最低および最高のインスタンス数を設定でき、その後、インスタンスあたりのスループットを選択します。Amazon SageMaker は、アプリケーショントラフィックの変化に応じて、自動的にインスタンス数を調整し、スループットを希望のレベルに保つためにデプロイされるモデルを監視します。これは、本番稼働のモデルの管理を容易にし、デプロイされたモデルのコストを削減する上で役立ちます。
Amazon SageMaker の Auto Scaling は米国東部 (バージニア北部およびオハイオ)、欧州 (アイルランド)、米国西部 (オレゴン) の各 AWS リージョンで利用可能です。Amazon SageMaker の自動的なスケーリングモデルの詳細は、ドキュメントを参照してください。