게시된 날짜: Jun 15, 2020
이제 Amazon Elastic Kubernetes Service(EKS)를 사용하여 Amazon EC2 Inf1 인스턴스에서 컨테이너를 실행할 수 있습니다. EKS 및 AWS Neuron Kubernetes 디바이스 플러그인을 사용하면 클러스터에 있는 여러 Inferentia 디바이스를 쉽게 결합하여 대규모로 고성능의 저렴한 추론 워크로드를 실행할 수 있습니다.
Amazon EC2 Inf1 인스턴스는 클라우드에서 최저 비용의 고성능 기계 학습 추론 기능을 전달합니다. Inf1 인스턴스에는 AWS가 설계하고 제작한 고성능 기계 학습 추론 칩인 AWS Inferentia 칩이 최대 16개 탑재됩니다. 고객은 Inf1 인스턴스를 사용하여 이미지 인식, 음성 인식, 자연어 처리, 개인화 및 사기 탐지와 같은 대규모 기계 학습 추론 애플리케이션을 실행할 수 있습니다. 기계 학습 모델이 고객의 요구 사항을 충족하도록 훈련된 후에는 Inferentia 칩의 기계 학습 추론 성능을 최적화하는 컴파일러, 런타임 및 프로파일링 도구로 구성된 특수한 SDK(소프트웨어 개발 키트)인 AWS Neuron을 사용하여 모델을 배포하고, TensorFlow, PyTorch 또는 MXNet과 같은 널리 사용되는 기계 학습 프레임워크를 지원할 수 있습니다.
Amazon EKS는 필요한 모든 AWS Neuron 패키지로 EKS 최적화 가속 AMI를 업데이트하여 Inferentia 기반 컨테이너를 쉽게 실행합니다. 최신 가속 AMI를 기반으로 작업자 노드를 포함하는 클러스터를 시작한 후에는 AWS Neuron Kubernetes 디바이스 플러그인을 설치하여, 작업자 노드 kubelet에 Inferentia 디바이스를 사용 가능한 리소스로 알릴 수 있습니다. 이 정교한 스케줄링 기능을 통해 EKS 고객은 독립형 EC2 Inf1 인스턴스를 사용할 때에 비해 활용도를 높이고 더 많은 비용을 절감할 수 있습니다.
EC2 Inf1 인스턴스는 Inf1이 사용 가능한 리전에서 버전 1.14 이상을 실행하는 모든 EKS 클러스터에서 사용할 수 있습니다. 현재 자체 관리 노드 그룹만 지원되며, 이는 eksctl, CloudFormation 또는 AWS CLI를 사용하여 시작할 수 있습니다. EKS 관리 노드 그룹 지원은 향후 릴리스에서 추가됩니다. 시작하려면 Amazon EKS 설명서를 참조하십시오. Inf1 인스턴스 및 Inferentia에 대한 자세한 내용은 Amazon EC2 설명서를 참조하십시오.