Amazon SageMaker 推論現在支援推論元件端點的輪詢更新

張貼日期: 2025年3月10日

Amazon SageMaker 推論現在支援推論元件 (IC) 端點的輪詢更新。這可讓客戶無需像以往一樣需要雙倍的執行個體，即可使用最少的額外執行個體，以不中斷流量的方式更新執行中的 IC 端點。SageMaker 推論能夠讓您輕鬆部署包括基礎模型 (FM) 在內的 ML 模型。IC 是 SageMaker 推論的一項功能，可讓客戶在相同的端點上部署多個 FM，並控制每個模型的加速器分配。

現在，輪詢更新使客戶可以按批次更新端點內的 IC，而不是像先前的藍/綠更新方法一樣，一次更新所有 IC。藍/綠更新需要使用更新模型佈建新的 IC 機群，然後再將流量從舊的機群轉移到新的機群，導致所需執行個體數量加倍。透過輪詢更新，新 IC 會以較小批次建立，大幅減少更新期間所需的其他執行個體數量。這有助於客戶將額外容量產生的成本降到最低，並在容量保留中維持較小的緩衝區需求。

所有支援 IC 的地區都可以使用 IC 的輪詢更新：亞太地區 (東京、首爾、孟買、新加坡、雪梨、雅加達)、加拿大 (中部)、歐洲 (法蘭克福、斯德哥爾摩、愛爾蘭、倫敦)、中東 (阿拉伯聯合大公國)、南美洲 (聖保羅)、美國東部 (維吉尼亞北部、俄亥俄) 和美國西部 (加利佛尼亞北部、奧勒岡)。若要進一步了解，請參閱文件。