Amazon SageMaker 모델 배포 소프트웨어 및 드라이버 버전 사용자 지정

게시된 날짜: 2024년 9월 25일

이제 SageMaker에 모델을 배포할 때 인스턴스에서 사용하는 소프트웨어 및 드라이버 버전을 필요에 가장 적합한 버전으로 선택할 수 있습니다. Amazon SageMaker를 사용하면 모든 사용 사례에서 최상의 가격 대비 성능으로 파운데이션 모델(FM)을 비롯한 ML 모델을 손쉽게 배포하여 추론 요청을 수행할 수 있습니다.

지금까지는 고객이 엔드포인트 뒤의 관리형 인스턴스에서 SageMaker가 정의한 사전 설정 소프트웨어 및 드라이버 버전을 사용해야 했습니다. 이제 고객은 엔드포인트를 구성할 때 요구 사항에 가장 적합한 소프트웨어와 드라이버 버전의 조합(예: Nvidia 드라이버와 CUDA 버전)을 선택하도록 ‘InferenceAmiVersion’ 파라미터를 지정할 수 있습니다. 따라서 ML 애플리케이션의 성능, 호환성, 확장성 및 운영 요구 사항에 맞게 호스팅 환경을 맞춤 설정할 수 있습니다. 이 파라미터를 사용하면 원하는 일정에 따라 엔드포인트의 드라이버 버전을 다운그레이드 및 업그레이드할 수도 있습니다.

이 기능은 SageMaker가 제공되는 모든 리전에서 사용할 수 있습니다. SageMaker에 모델을 배포하는 방법은 여기에서 자세히 알아볼 수 있으며, 이 기능에 대한 추가 정보는 설명서에서 확인할 수 있습니다.