게시된 날짜: Mar 18, 2020
이제 Amazon Elastic Inference를 사용하여 Amazon SageMaker, Amazon EC2 및 Amazon ECS에서 추론을 가속화하고 PyTorch 모형의 비용을 절감할 수 있습니다. 향상된 EI에 대한 PyTorch 라이브러리는 Amazon SageMaker, AWS Deep Learning AMI 및 AWS Deep Learning Containers에서 자동으로 사용 가능하므로, 최소의 코드만 변경해 프로덕션에 PyTorch 모형을 배포할 수 있습니다. Elastic Inference는 PyTorch에서 컴파일된 TorchScript 모형을 지원합니다. PyTorch와 함께 Elastic Inference를 사용하려면 PyTorch 모형을 TorchScript로 변환하고 추론을 위한 Elastic Inference API를 사용해야 합니다. 오늘 PyTorch는 TensorFlow 및 Apache MXNet을 Elastic Inference에서 지원하는 딥 러닝 프레임워크로 결합하였습니다.
Elastic Inference에서는 Amazon SageMaker 인스턴스, EC2 인스턴스 또는 ECS 과제에 적당한 크기의 GPU 지원 가속을 연결하는 것만으로도 딥 러닝 추론 실행 비용을 최대 75% 절감할 수 있습니다.
Elastic Inference에 대한 PyTorch는 Amazon Elastic Inference를 사용할 수 있는 리전에서 지원됩니다. 자세한 내용은 개발자 안내서의 Elastic Inference에서 PyTorch 모형 사용 및 블로그 게시물, “Amazon Elastic Inference를 사용하여 PyTorch 모형에 대한 Amazon SageMaker의 ML 추론 비용 절감“을 참조하십시오.