게시된 날짜: Dec 1, 2021
Amazon SageMaker Inference Recommender는 최적의 추론 성능과 비용을 위해 기계 학습 모델을 배포하기 위해 사용 가능한 최상의 컴퓨팅 인스턴스 및 구성을 선택합니다.
기계 학습 모델 배포를 위해 최고의 가격 성능을 갖춘 컴퓨팅 인스턴스를 선택하는 작업은 몇 주 동안 실험이 필요할 수 있는 복잡하고 반복적인 프로세스입니다. 첫 번째로 모델의 리소스 요구 사항과 입력 데이터의 크기에 기반하여 70개 이상의 옵션 중 적절한 기계 학습 인스턴스 유형을 선택합니다. 다음으로는 선택한 인스턴스 유형의 모델을 최적화해야 합니다. 마지막으로 부하 테스트를 실행하고 최적의 성능과 비용을 위해 클라우드 구성을 조정하려면 인프라를 프로비저닝 및 관리해야 합니다 이 모든 것이 모델 배포와 출시 시간을 지연시킬 수 있습니다.
Amazon SageMaker Inference Recommender는 성능을 최대화하고 비용을 최소화하기 위해 추론을 위해 올바른 컴퓨팅 인스턴스 유형, 인스턴스 수, 컨테이너 파라미터 및 모델 최적화를 자동으로 선택합니다. SageMaker Studio의 SageMaker Inference Recommender, AWS 명령줄 인터페이스(CLI) 또는 AWS SDK를 사용하면 몇 분 안에 기계 학습 모델 배포에 대한 권장 사항을 얻을 수 있습니다. 그 후 권장 인스턴스 중 하나에 모델을 배포하거나 인프라 테스트에 대해 걱정할 필요 없이 선택한 인스턴스 유형 세트에서 완전 관리형 부하 테스트를 실행할 수 있습니다. SageMaker Studio에서 부하 테스트 결과를 검토하고 대기 시간, 처리량 및 비용 간의 균형을 평가하여 가장 최적의 배포 구성을 선택할 수 있습니다.
Amazon SageMaker Inference Recommender는 AWS 중국 리전을 제외하고 SageMaker를 사용할 수 있는 모든 리전에서 일반적으로 사용할 수 있습니다. 자세한 내용은 SageMaker 모델 배포 웹페이지 및 SageMaker Inference Recommender 설명서를 참조하세요.