게시된 날짜: Apr 22, 2020

Amazon SageMaker 고객은 이제 실시간 추론을 위해 기계 학습 모델을 배포할 때 Inf1 인스턴스를 선택할 수 있습니다. Amazon SageMaker는 개발자 및 데이터 과학자가 모든 규모의 기계 학습 모델을 쉽고 빠르게 구축, 교육 및 배포할 수 있게 지원하는 완전관리형 서비스입니다. Amazon SageMaker에서 Inf1 인스턴스를 사용하는 고객은 이미지 인식, 음성 인식, 자연어 처리, 개인화, 예측 및 사기 탐지와 같은 대규모 기계 학습 및 딥 러닝 추론 애플리케이션을 뛰어난 성능과 상당히 낮은 비용으로 실행할 수 있습니다. 

Inf1 인스턴스는 처음부터 기계 학습 추론 애플리케이션을 지원하기 위해 제작되었으며, AWS에서 딥 러닝 추론 비용을 최적화하기 위해 설계 및 제작한 기계 학습 칩인 AWS Inferentia 칩을 최대 16개까지 탑재합니다. Inferentia 칩은 최신형 커스텀 2세대 Intel® Xeon® Scalable 프로세서 및 100Gbps 네트워킹과 결합되어 ML 추론 애플리케이션을 위한 고성능 및 업계에서 가장 낮은 비용을 제공합니다. 인스턴스당 1개에서 16개의 AWS Inferentia 칩을 지원하는 Inf1 인스턴스는 최대 2,000TOPS(Tera Operations per Second)의 성능으로 확장 가능하며 AWS GPU 기반 인스턴스에 비해 최대 추론 당 3배 더 높은 처리량과 최대 45% 더 낮은 비용을 제공합니다. Inf1 인스턴스에 사용되는 AWS Inferentia 칩의 대용량 온칩 메모리는 기계 학습 모델을 칩에 직접 캐싱할 수 있으므로 추론 시 외부 메모리 리소스를 액세스하지 않아도 되며 낮은 지연 시간과 추론 처리량을 지원합니다. Inf1 인스턴스에 대한 자세한 내용은 제품 페이지를 참조하십시오.  

Amazon SageMaker의 Inf1 인스턴스는 이제 미국의 버지니아 북부 및 오레곤 AWS 리전에서 사용 가능하며 ml.inf1.xlarge, ml.inf1.2xlarge, ml.inf1.6xlarge 및 ml.inf1.24xlarge의 네 가지 크기로 제공됩니다. TensorFlow 및 MxNet 프레임워크를 사용하여 개발된 기계 학습 모델은 실시간 추론을 위해 Amazon SageMaker에서 Inf1 인스턴스에 배포될 수 있습니다. Amazon SageMaker에서 Inf1 인스턴스를 사용하려면 Amazon SageMaker Neo를 사용하여 훈련된 모델을 컴파일하고 Amazon SageMaker에서 컴파일된 모델을 배포할 Inf1 인스턴스를 선택합니다.  

자세한 정보는 Amazon SageMaker 개발자 안내서를 참조하고, Amazon SageMaker의 Inf1 인스턴스에 기계 학습 모델을 배포하는 방법에 대한 자세한 내용은 Github의 Amazon SageMaker 예제를 참조하십시오.