게시된 날짜: Mar 4, 2022
Amazon SageMaker 서버리스 및 비동기 추론은 이제 Amazon SageMaker Python SDK를 지원하며, 배포에 필요한 단계를 추상화하여 모델 배포 워크플로를 간소화합니다. SageMaker Python SDK는 Amazon SageMaker에서 기계 학습 모델을 배포하기 위한 오픈 소스 라이브러리입니다. 최적화 기계 학습 프레임워크, SageMaker 지원 퍼스트 파티 알고리즘 중에서 사용하거나 Python SDK를 사용하여 자체 모델을 가져와 배포할 수 있습니다.
SageMaker는 실시간, 서버리스 추론(평가판), 비동기 추론, 배치 변환과 같은 다양한 추론 옵션을 제공하므로 워크로드에 가장 적합한 옵션을 선택할 수 있습니다. SageMaker Python SDK는 이미 실시간 추론과 배치 변환을 지원하고 있습니다. 이제 서버리스 추론(평가판) 및 비동기 추론이 지원되므로 모든 추론 옵션에 걸쳐 동일한 Python SDK API 방법을 사용할 수 있습니다. 이제 AWS 관리 콘솔, AWS Boto3 SDK, AWS CLI 및 모델 배포용 Python SDK 중에서 선택할 수 있는 옵션을 가지게 되었습니다.
요청과 함께 페이로드 인라인을 전달하여 Python SDK를 통해 비동기 추론 엔드포인트를 호출할 수 있습니다. SageMaker SDK는 사용자를 대신하여 페이로드를 S3 버킷에 업로드하고 엔드포인트를 호출합니다. 또한 Python SDK는 완료 시 추론 결과의 정기적인 검사 및 반환에 대한 지원을 추가합니다.