이제 Amazon SageMaker Inference, 추론 구성 요소 엔드포인트에 대한 롤링 업데이트 지원

게시된 날짜: 2025년 3월 10일

이제 Amazon SageMaker Inference는 추론 구성 요소(IC) 엔드포인트에 대한 롤링 업데이트를 지원합니다. 따라서 고객은 트래픽 중단 없이 실행 중인 IC 엔드포인트를 업데이트할 수 있으며, 과거에 두 배의 인스턴스를 필요로 했던 것과는 달리 최소한의 추가 인스턴스만 사용하면 됩니다. SageMaker Inference를 사용하면 파운데이션 모델(FM)을 비롯한 기계 학습 모델을 손쉽게 배포할 수 있습니다. SageMaker Inference의 기능인 IC를 통해 동일한 엔드포인트에 여러 FM을 배포하고 각 모델에 대한 액셀러레이터 할당을 제어할 수 있습니다.

이제 롤링 업데이트가 지원되므로, 이전의 블루/그린 업데이트 방식처럼 한 번에 전체 IC를 업데이트하는 대신 엔드포인트 배치별로 IC를 일괄 업데이트할 수 있습니다. 블루/그린 업데이트의 경우에는 기존 플릿에서 새 플릿으로 트래픽을 이동하기 전에 업데이트된 모델을 사용하여 새로운 IC 플릿을 프로비저닝해야 하므로, 필요한 인스턴스 수를 두 배로 늘어납니다. 롤링 업데이트의 경우에는 새로운 IC가 더 작은 배치로 생성되므로 업데이트 중에 필요한 추가 인스턴스 수가 크게 줄어듭니다. 따라서 고객은 추가 용량으로 인한 비용을 최소화하고, 용량 예약에서 버퍼 요구 사항을 줄일 수 있습니다.

IC의 롤링 업데이트는 IC가 지원되는 모든 리전, 즉 아시아 태평양(도쿄, 서울, 뭄바이, 싱가포르, 시드니, 자카르타), 캐나다(중부), 유럽(프랑크푸르트, 스톡홀름, 아일랜드, 런던), 중동(UAE), 남미(상파울루), 미국 동부(버지니아 북부, 오하이오), 미국 서부(캘리포니아 북부, 오리건)에서 제공됩니다. 자세한 내용은 설명서를 참조하세요.