이제 Amazon SageMaker Inference, 추론 구성 요소 엔드포인트에 대한 롤링 업데이트 지원
이제 Amazon SageMaker Inference는 추론 구성 요소(IC) 엔드포인트에 대한 롤링 업데이트를 지원합니다. 따라서 고객은 트래픽 중단 없이 실행 중인 IC 엔드포인트를 업데이트할 수 있으며, 과거에 두 배의 인스턴스를 필요로 했던 것과는 달리 최소한의 추가 인스턴스만 사용하면 됩니다. SageMaker Inference를 사용하면 파운데이션 모델(FM)을 비롯한 기계 학습 모델을 손쉽게 배포할 수 있습니다. SageMaker Inference의 기능인 IC를 통해 동일한 엔드포인트에 여러 FM을 배포하고 각 모델에 대한 액셀러레이터 할당을 제어할 수 있습니다.
이제 롤링 업데이트가 지원되므로, 이전의 블루/그린 업데이트 방식처럼 한 번에 전체 IC를 업데이트하는 대신 엔드포인트 배치별로 IC를 일괄 업데이트할 수 있습니다. 블루/그린 업데이트의 경우에는 기존 플릿에서 새 플릿으로 트래픽을 이동하기 전에 업데이트된 모델을 사용하여 새로운 IC 플릿을 프로비저닝해야 하므로, 필요한 인스턴스 수를 두 배로 늘어납니다. 롤링 업데이트의 경우에는 새로운 IC가 더 작은 배치로 생성되므로 업데이트 중에 필요한 추가 인스턴스 수가 크게 줄어듭니다. 따라서 고객은 추가 용량으로 인한 비용을 최소화하고, 용량 예약에서 버퍼 요구 사항을 줄일 수 있습니다.
IC의 롤링 업데이트는 IC가 지원되는 모든 리전, 즉 아시아 태평양(도쿄, 서울, 뭄바이, 싱가포르, 시드니, 자카르타), 캐나다(중부), 유럽(프랑크푸르트, 스톡홀름, 아일랜드, 런던), 중동(UAE), 남미(상파울루), 미국 동부(버지니아 북부, 오하이오), 미국 서부(캘리포니아 북부, 오리건)에서 제공됩니다. 자세한 내용은 설명서를 참조하세요.