Amazon SageMaker AI, 자동 컨테이너 이미지 캐싱을 통해 생성형 AI 추론 스케일 아웃 시간을 최대 절반까지 단축
Amazon SageMaker Inference에서 이제 컨테이너 이미지 캐싱을 지원하여 스케일 아웃 이벤트 중에 생성형 AI 모델에 대해 최대 2배 더 빠른 엔드 투 엔드 스케일링이 가능합니다. 엔드포인트의 스케일 아웃 시 서비스가 컨테이너 이미지를 미리 캐시하므로 Amazon ECR에서 대용량 컨테이너 이미지를 가져올 때까지 기다릴 필요 없이 새 인스턴스에서 더 빠르게 트래픽 서비스를 시작할 수 있습니다.
생성형 AI 워크로드는 일반적으로 딥 러닝 프레임워크 및 모델 서비스를 위해 대용량 컨테이너 이미지(10GB 이상)를 사용합니다. 이전에는 스케일 아웃 중에 시작되는 모든 새 인스턴스의 경우 ECR에서 전체 이미지를 가져와야 했기 때문에 콜드 스타트 지연 시간이 몇 분 더 추가되었습니다. 컨테이너 이미지 캐싱은 이미지를 미리 가져와서 로컬에서 이미 사용 가능한 컨테이너와 함께 새 인스턴스를 시작하여 이러한 병목 현상을 제거합니다. 고객은 별도의 변경 작업을 수행할 필요가 없습니다. 이 기능은 엔드포인트나 추론 구성 요소 구성에 지정된 모든 이미지 URI를 자동으로 캐시합니다. 이 기능은 또한 액셀러레이터 인스턴스 유형, 단일 모델 엔드포인트, 추론 구성 요소 기반 엔드포인트를 지원합니다.
이번 출시로 SageMaker Inference에서 생성형 AI를 위한 포괄적인 스케일링 최적화 제품군을 제공하게 되었습니다. 여기에는 최대 6배 더 빠른 부하 감지를 위한 1분 미만 단위의 동시성 지표, 기존 인스턴스에서 더 빠른 스케일링을 위한 인스턴스 저장소 컨테이너 캐싱, 새 인스턴스에서 최대 2배 더 빠른 스케일링을 위한 컨테이너 이미지 캐싱 등이 포함됩니다.
컨테이너 이미지 캐싱은 SageMaker Inference가 지원되는 모든 AWS 상용 리전에서 사용할 수 있습니다. 자세한 내용을 알아보려면 출시 블로그를 참조하세요.