Amazon SageMaker AI が自動コンテナイメージキャッシュにより、生成 AI 推論のスケールアウト時間を最大半分に短縮
Amazon SageMaker Inference ではコンテナイメージキャッシュをサポートするようになりました。これにより、スケールアウトイベント時の生成 AI モデルのエンドツーエンドスケーリングを最大 2 倍高速化できます。エンドポイントがスケールアウトする際、このサービスはコンテナイメージを事前にキャッシュするため、新しいインスタンスは Amazon ECR から大容量のコンテナイメージが取得されるのを待つことなく、より迅速にトラフィックの処理を開始できます。
生成 AI ワークロードでは通常、深層学習フレームワークやモデルサービングのために、大容量 (10 GB 以上) のコンテナイメージが使用されます。これまでは、スケールアウト時に起動する新しいインスタンスのたびに、ECR からイメージ全体を取得する必要があり、コールドスタートのレイテンシーが数分単位で追加されていました。コンテナイメージキャッシュは、イメージを事前に取得しておくことでこのボトルネックを解消し、ローカルにコンテナを保持した状態で新しいインスタンスを起動できるようにします。お客様側で変更を加える必要はありません。このサービスは、エンドポイントまたは推論コンポーネント設定で指定されたイメージ URI を自動的にキャッシュします。この機能は、アクセラレーターインスタンスタイプ、単一モデルエンドポイント、推論コンポーネントベースのエンドポイントに対応しています。
今回のリリースにより、SageMaker Inference では、生成 AI 向けの包括的なスケーリング最適化スイートを利用できるようになりました。具体的には、負荷検出を最大 6 倍高速化する秒単位の同時実行数メトリクス、既存インスタンスでのスケーリングを高速化するインスタンスストアコンテナキャッシュ、そして新規インスタンスでのスケーリングを最大 2 倍高速化するコンテナイメージキャッシュです。
コンテナイメージキャッシュは、SageMaker Inference がサポートされているすべての AWS 商用リージョンでご利用いただけます。詳細については、リリースブログをご覧ください。