Amazon SageMaker AI 透過自動容器映像快取，將生成式 AI 推論擴展時的擴展時間最多縮短一半

張貼日期: 2026年6月30日

Amazon SageMaker Inference 現在支援容器映像快取，讓生成式 AI 模型在擴展事件期間的端對端擴展速度最高可提升 2 倍。當您的端點橫向擴充時，服務會預先快取您的容器映像，讓新的執行個體能更快開始提供流量服務，而無需等待從 Amazon ECR 提取大型容器映像。

生成式 AI 工作負載通常會使用大型容器映像檔 (10 GB 或更大) 來執行深度學習架構和模型服務。先前，在擴展期間啟動的每個新執行個體都必須從 ECR 提取完整映像檔，因此增加了數分鐘的冷啟動延遲。容器映像檔快取會預先提取映像檔，讓新執行個體在啟動時容器已可在本機使用，藉此消除此瓶頸。客戶無需進行任何變更。此服務會自動快取您在端點或推論元件組態中指定的任何映像檔 URI。此功能支援加速器執行個體類型、單一模型端點，以及以推論元件為基礎的端點。

隨著這次推出，SageMaker Inference 現在為生成式 AI 提供了全面的擴展最佳化套件：次分鐘級並行測量結果可提供高達 6 倍的負載偵測速度，執行個體儲存容器快取可快速擴充現有執行個體，以及容器映像快取可讓新執行個體的擴展速度提升高達 2 倍。

可使用容器映像快取的區域為所有支援 SageMaker Inference 的 AWS 商業區域。若要進一步了解，請瀏覽發佈部落格。