Amazon Elastic Inference FAQ

Q: Amazon Elastic Inference는 무엇입니까?

A: Amazon Elastic Inference (Amazon EI)는 가속화된 컴퓨팅 서비스로, GPU 기반 추론 가속화의 올바른 양을 Amazon EC2, Amazon SageMaker 인스턴스 유형 또는 Amazon ECS 작업에 연결할 수 있습니다. 따라서 이제 애플리케이션의 전체 컴퓨팅, 메모리 및 스토리지 요구 사항에 가장 적합한 인스턴스 유형을 선택한 후 필요한 양의 추론 가속을 별도로 구성할 수 있습니다.

Q: Amazon Elastic Inference 액셀러레이터는 무엇입니까?

A : Amazon Elastic Inference 액셀러레이터는 저렴한 비용으로 딥 러닝 학습 추론 작업량을 가속화하기 위해 모든 EC2 인스턴스, SageMaker 인스턴스 또는 ECS 작업과 함께 작동하도록 설계된 GPU 기반 하드웨어 장치입니다. Amazon Elastic Inference를 사용하여 EC2 인스턴스 또는 ECS 작업을 시작하면 액셀러레이터가 네트워크를 통해 인스턴스에 프로비저닝되고 연결됩니다. Amazon Elastic Inference에 사용할 수 있는 TensorFlow Serving, Apache MXNet 및 PyTorch와 같은 딥 러닝 도구 및 프레임워크는 연결된 엑셀러레이터에 모델 계산을 자동으로 감지하고 오프로드할 수 있습니다.

Q: Amazon Elastic inference 액셀러레이터 패밀리 유형은 서로 어떻게 다릅니까?

A. EIA2 액셀러레이터는 동급의 EIA1 액셀러레이터에 비해 2배의 GPU 메모리를 포함합니다. 고객은 모델 및 텐서 입력 크기를 기준으로 GPU 메모리 요구 사항을 결정하고 요구 사항에 맞는 올바른 액셀러레이터 패밀리 및 유형을 선택할 수 있습니다.

Q: Amazon Elastic Inference 액셀러레이터를 어떻게 프로비저닝할 수 있습니까?

A: AWS 관리 콘솔, AWS 명령줄 인터페이스 (CLI) 또는 AWS SDK를 사용하여 Amazon Elastic Inference 엑셀러레이터로 Amazon SageMaker 엔드포인트 또는 Amazon EC2 인스턴스 또는 Amazon ECS 작업을 구성할 수 있습니다. 액셀러레이터가 있는 EC2 인스턴스를 시작하는데 두 가지 요구 사항이 있습니다. 첫 번째, 액셀러레이터를 시작할 서브넷에 대해 AWS PrivateLink VPC 엔드포인트를 프로비저닝 해야 합니다. 두 번째, 인스턴스를 시작할 때 인스턴스에 액세스하는 사용자가 액셀러레이터에 연결할 수 있도록 인스턴스 역할에 정책을 제공해야 합니다. Amazon EI로 시작을 위해 인스턴스를 구성하면 액셀러레이터는 VPC 엔드포인트 뒤의 동일 가용 영역에 프로비저닝됩니다.

Q: Amazon Elastic Inference의 지원 모델 형식은 무엇입니까?

A: Amazon Elastic Inference는 TensorFlow, Apache MXNet, PyTorch 및 ONNX 모델을 사용하는 훈련 모델을 지원합니다.

Q: TensorFlow, Apache MXNet 또는 PyTorch 프레임워크를 사용하여 Amazon Elastic Inference에 모델을 배포 할 수 있습니까?

A: 예. 모델 배포와 추론 호출을 위해 AWS 강화 TensorFlow Serving, Apache MXNet 및 PyTorch 라이브러리를 사용할 수 있습니다.

Q: AWS 최적 프레임워크에 액세스하려면 어떻게 합니까?

A: AWS Deep Learning AMI는 Amazon Elastic Inference 액셀러레이터와 함께 사용하도록 최적화된 TensorFlow Serving, Apache MXNet 및 PyTorch의 최신 릴리스가 포함되어 있습니다. 사용자만의 AMI 또는 컨테이너 이미지를 구축하기 위해 Amazon S3를 통해 라이브러리를 얻을 수도 있습니다. 자세한 내용은 설명서(https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/elastic-inference.html)를 참조하십시오.

Q: CUDA를 Amazon Elastic Inference 액셀러레이터와 사용할 수 있습니까?

A: 아니오. Amazon Elastic Inference 액셀러레이터에 대한 인터페이스로서 AWS 강화 TensorFlow Serving, Apache MXNet 또는 PyTorch 라이브러리만 사용할 수 있습니다.

Q: Amazon Elastic Inference 사용에 대한 요금은 어떻게 부과됩니까?

A: 사용한 Amazon Elastic Inference 액셀러레이터의 시간에 대해서만 지불하면 됩니다. 자세한 내용은 요금 페이지를 참조하십시오.

Q: Amazon Elastic Inference 서비스를 위한 AWS PrivateLink VPC 종단점 비용이 청구됩니까?

VPC 종단점이 프로비저닝된 가용 영역에서 실행되는 액셀러레이터로 구성된 인스턴스가 하나 이상 있는 경우, Amazon Elastic Inference용 AWS PrivateLink VPC 종단점에는 요금이 부과되지 않습니다.