게시된 날짜: May 10, 2023
오늘 Amazon SageMaker 서버리스 추론을 위한 프로비저닝된 동시성이 정식 버전으로 제공됨을 발표하게 되어 기쁩니다. 프로비저닝된 동시성을 사용하면 예측 가능한 성능과 높은 확장성을 갖춘 서버리스 엔드포인트에 모델을 배포할 수 있습니다. 서버리스 엔드포인트에 프로비저닝된 동시성을 추가할 수 있으며, SageMaker는 사전 정의된 양의 프로비저닝된 동시성에 대해 엔드포인트를 웜 상태로 유지하고 요청에 즉시 응답할 수 있도록 준비합니다. 프로비저닝된 동시성은 트래픽이 예측 가능하고 처리량이 적은 고객에게 적합합니다.
온디맨드 서버리스 엔드포인트의 경우 엔드포인트가 한동안 트래픽을 수신하지 못하다가 갑자기 새 요청을 받게 되면 컴퓨팅 리소스를 가동하여 요청을 처리하는 데 시간이 걸릴 수 있습니다. 이를 콜드 스타트라고 합니다. 동시 요청이 현재 동시 요청 사용량을 초과하는 경우에도 콜드 스타트가 발생할 수 있습니다. 지연 시간 프로파일의 가변성을 줄이려면 서버리스 엔드포인트에 프로비저닝된 동시성을 선택적으로 사용할 수 있습니다. 프로비저닝된 동시성을 사용하면 서버리스 엔드포인트가 항상 준비되어 있기 때문에 구성되어 있는 프로비저닝된 동시성 수까지 콜드 스타트 없이 트래픽 급증을 즉시 처리할 수 있습니다.
서버리스 엔드포인트를 위한 프로비저닝된 동시성은 AWS Console, AWS SDK 또는 AWS Command Line Interface(AWS CLI)에서 활성화할 수 있습니다. SageMaker 서버리스 추론을 위한 프로비저닝된 동시성은 SageMaker 서버리스 추론의 정식 버전이 제공되는 모든 AWS 리전에서 사용할 수 있습니다.
다음을 참조하여 시작해 보세요.