Amazon Elastic Inference

GPU 가속을 Amazon EC2 인스턴스에 추가하여 낮은 비용(최대 75% 절약)으로 빠른 추론 달성

Amazon Elastic Inference를 이용하면 Amazon EC2 및 Amazon SageMaker 인스턴스에 낮은 비용의 GPU 지원 가속을 연결해 딥 러닝 추론 비용을 최대 75% 절감할 수 있습니다. Amazon Elastic Inference는 TensorFlow, Apache MXNet 및 ONNX 모델을 지원하며 더 많은 프레임워크가 곧 추가될 예정입니다.

대부분의 딥 러닝 애플리케이션의 경우 학습된 모델(추론이라는 프로세스)을 사용하여 예측하면 두 가지 측면으로 인해 애플리케이션의 컴퓨팅 비용이 90%까지 증가할 수 있습니다. 첫째, 모델 학습을 위해 설계된 독립형 GPU 인스턴스는 일반적으로 추론하기에는 크기가 너무 큽니다. 학습 작업은 수백 개의 데이터 샘플을 병렬로 배치 처리하지만, 대부분의 추론은 소량의 GPU 컴퓨팅만 사용하는 단일 입력에서 실시간으로 발생합니다. 피크 로드에서도 GPU 컴퓨팅 성능을 완전히 활용할 수 없기 때문에 비경제적이며 손실이 큽니다. 둘째, 다양한 모델에는 다양한 양의 GPU, CPU 및 메모리 리소스가 필요합니다. 거의 사용되지 않는 리소스의 요구 사항을 충족시키기에는 너무 큰 GPU 인스턴스 유형을 선택하면 나머지 리소스의 사용률이 낮아지고 비용이 커집니다.

Amazon Elastic Inference는 코드 변경 없이 매우 적절한 양의 GPU 지원 추론 가속을 EC2 또는 SageMaker 인스턴스 유형에 연결하여 이러한 문제를 해결합니다. Amazon Elastic Inference를 사용하면 애플리케이션의 전체 CPU 및 메모리 요구 사항에 가장 적합한 인스턴스 유형을 선택한 후 리소스를 효율적으로 사용하고 추론 실행 비용을 절감하는 데 필요한 양의 추론 가속을 별도로 구성할 수 있습니다.

Amazon Elastic Inference 소개

장점

추론 비용을 최대 75% 절감

Amazon Elastic Inference를 이용하면 애플리케이션의 전체 컴퓨팅 및 메모리 요구 사항에 가장 적합한 인스턴스 유형을 선택할 수 있습니다. 그러면 필요한 양의 추론 가속을 별도로 지정할 수 있습니다. 더 이상 추론을 위해 GPU 컴퓨팅을 초과 프로비저닝할 필요가 없기 때문에 추론 비용을 최대 75% 절감하게 됩니다.

정확히 필요한 기능 이용

Amazon Elastic Inference는 작게는 1TFLOPS(초당 1조의 부동 소수점 연산)의 단정밀도, 크게는 32TFLOPS의 혼합 정밀도의 추론 가속을 제공할 수 있습니다. 이는 표준 Amazon EC2 P3 인스턴스가 제공하는 최대 1,000TFLOPS 범위보다 더 적절한 추론 컴퓨팅 수준입니다. 예를 들어, 단순 언어 처리 모델에는 효율적인 추론 실행을 위해 1TFLOPS가 필요하다면 복잡한 컴퓨터 비전 모델에는 최대 32TFLOPS가 필요할 수 있습니다.

수요 변화에 대응

Amazon EC2 Auto Scaling 그룹을 사용하여 추론 가속 양을 쉽게 확장하거나 축소할 수 있으므로 초과 프로비저닝 없이 애플리케이션의 요구 사항을 충족시킬 수 있습니다. EC2 Auto Scaling이 증가하는 수요를 맞추기 위해 EC2 인스턴스를 늘리는 경우, 각 인스턴스에 연결된 액셀러레이터가 자동으로 확장됩니다. 이와 유사하게 수요가 감소하여 EC2 인스턴스를 줄이는 경우, 각 인스턴스에 연결된 액셀러레이터가 자동으로 축소됩니다. 이를 통해 필요할 때 필요한 만큼만 비용을 지불할 수 있습니다.

널리 사용되는 프레임워크 지원

Amazon Elastic Inference는 TensorFlow 및 Apache MXNet 모델을 지원하며 더 많은 프레임워크가 곧 추가될 예정입니다.

tensorflow_logo_200px
mxnet_150x50
블로그: Amazon Elastic Inference – GPU 지원 추론 가속
2018년 11월 28일
 
Product-Page_Standard-Icons_01_Product-Features_SqInk
제품 기능 확인

Amazon Elastic Inference 기능에 대해 자세히 알아보십시오.

자세히 알아보기 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
무료 계정에 가입

AWS 프리 티어에 즉시 액세스할 수 있습니다. 

가입하기 
Product-Page_Standard-Icons_03_Start-Building_SqInk
AWS 콘솔에서 구축 시작

Amazon SageMaker 또는 Amazon EC2에서 Amazon Elastic Inference를 시작하십시오.

로그인