Amazon SageMaker Serverless Inference, 이제 정식 출시

게시된 날짜: Apr 21, 2022

오늘 SageMaker가 정식 출시된 모든 AWS 리전(AWS 중국 리전 제외)에 Amazon SageMaker Serverless Inference의 정식 출시를 발표하게 되어 기쁩니다. SageMaker Serverless Inference를 사용하면 기본 인프라를 구성하거나 관리할 필요 없이 추론용 기계 학습(ML) 모델을 빠르게 배포할 수 있습니다. ML 모델 배포 시에 서버리스 옵션을 선택하기만 하면 Amazon SageMaker가 추론 요청 볼륨에 기반한 컴퓨팅 용량을 자동으로 프로비저닝하고 크기를 조정하며 비활성화합니다. SageMaker Serverless Inference를 사용하면 추론 요청을 처리하는 데 사용되는 컴퓨팅 용량(밀리초 단위로 청구됨)과 처리된 데이터 양에 대해서만 비용을 지불하며 유휴 시간에 대해서는 비용을 지불하지 않습니다. SageMaker Serverless Inference는 트래픽이 간헐적이거나 예측할 수 없는 애플리케이션에 이상적인 서비스입니다.

re:Invent 2021에서 평가판을 출시한 이후, 모델 배포를 단순화하는 추상화를 제공하는 Amazon SageMaker Python SDK에 대한 지원과 서버리스 추론 엔드포인트를 MLOps 워크플로와 통합할 수 있는 Model Registry에 대한 지원을 추가했습니다. 또한 엔드포인트당 최대 동시 호출 제한을 200(평가판은 50)으로 늘려 트래픽이 많은 워크로드에 SageMaker Serverless Inference를 사용할 수 있습니다.

AWS 콘솔, Python용 AWS SDK(Boto3), SageMaker Python SDK, AWS CloudFormation 또는 AWS Command Line Interface(AWS CLI)에서 SageMaker Serverless Inference 엔드포인트를 생성할 수 있습니다. SageMaker Serverless Inference는 다음 21개 AWS 리전, 미국 동부(오하이오), 미국 동부(버지니아 북부), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 아프리카(케이프타운), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(오사카), 아시아 태평양(서울), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(도쿄), 캐나다(중부), EU(프랑크푸르트), EU(아일랜드), EU(런던), EU(밀라노), EU(파리), EU(스톡홀름), 중동(바레인) 및 남아메리카(상파울루) 리전에서 정식 출시되었습니다.