Amazon Elastic Inference를 이용하면 Amazon EC2 및 SageMaker 인스턴스 또는 Amazon ECS 작업에 낮은 비용의 GPU 지원 가속을 연결해 딥 러닝 추론 비용을 최대 75% 절감할 수 있습니다. Amazon Elastic Inference는 TensorFlow, Apache MXNet, PyTorch 및 ONNX 모형을 지원합니다.

추론은 훈련된 모델을 사용하여 예측하는 프로세스입니다. 딥 러닝 애플리케이션에서 추론은 두 가지 이유로 인해 총 운영 비용에서 최대 90%를 차지합니다. 첫째, 독립형 GPU 인스턴스는 일반적으로 추론이 아닌 모델 훈련을 위해 설계되었습니다. 훈련 작업은 수백 개의 데이터 샘플을 병렬로 배치 처리하지만, 일반적으로 추론 작업은 소량의 GPU 컴퓨팅을 사용하는 단일 입력을 실시간으로 처리합니다. 이로 인해 독립형 GPU 추론 비용의 효율성이 저하됩니다. 반면 독립형 CPU 인스턴스는 매트릭스 작업에 특화되지 않아 종종 딥 러닝 추론에 사용하기에는 실행 속도가 너무 느려집니다. 둘째, 다른 모델에는 다른 CPU, GPU 및 메모리가 필요합니다. 한 리소스를 최적화하면 다른 리소스의 활용이 미흡해지고 비용이 상승할 수 있습니다.

Amazon Elastic Inference는 코드 변경 없이 매우 적절한 양의 GPU 지원 추론 가속을 EC2 또는 SageMaker 인스턴스 유형 또는 ECS 작업에 연결하여 이러한 문제를 해결합니다. Amazon Elastic Inference를 사용하면 애플리케이션의 전체 컴퓨팅 및 메모리 요구 사항에 가장 적합한 AWS의 모든 CPU 인스턴스를 선택한 후 리소스를 효율적으로 사용하고 비용을 절감하는 데 도움이 되는 양의 GPU 기반 추론 가속을 별도로 구성할 수 있습니다.