중요 업데이트
Amazon Elastic Inference에 관심을 가져주셔서 감사합니다. Amazon Elastic Inference는 더 이상 신규 고객에게 제공되지 않습니다. AWS Inferentia와 같은 다른 하드웨어 가속화 옵션을 사용하여 더 낮은 비용으로 기계 학습 추론 워크로드의 성능을 개선할 수 있습니다. 현재 Amazon Elastic Inference를 사용하고 있다면 워크로드를 이러한 대안으로 마이그레이션하는 것을 고려해 보시기 바랍니다. 자세히 알아보려면 AWS 기계 학습 인프라 페이지를 방문하세요.
일반
Q: Amazon Elastic Inference(EI)에서 AWS Inferentia와 같은 최신 하드웨어 가속 옵션으로 워크로드를 이동할 것을 권장하는 이유는 무엇인가요?
추론 워크로드에 AWS Inferentia와 같은 새로운 하드웨어 액셀러레이터 옵션을 사용하면 Amazon EI보다 훨씬 저렴한 가격으로 더 나은 성능을 얻을 수 있습니다. AWS Inferentia는 클라우드에서 뛰어난 추론 성능을 제공하며, 개발자가 총 추론 비용을 줄이면서 비즈니스 애플리케이션에 기계 학습을 쉽게 통합할 수 있게 설계되었습니다. 이러한 차세대 하드웨어 액셀러레이터의 혜택을 누릴 수 있도록 2023년 4월 15일 이후에는 Amazon EI에 신규 고객을 온보딩하지 않을 예정입니다.
Q: Amazon Elastic Inference(EI)에 대한 신규 고객 온보딩을 중단하려는 움직임으로 인해 영향을 받는 AWS 서비스는 무엇인가요?
이번 발표는 모든 Amazon EC2, Amazon SageMaker 인스턴스 또는 Amazon Elastic Container Service(ECS) 태스크에 연결된 Amazon EI 액셀러레이터에 영향을 미칠 것입니다. Amazon SageMaker에서는 Amazon EI 액셀러레이터를 사용하는 엔드포인트와 노트북 커널 모두에 이 사항이 적용됩니다.
Q: 2023년 4월 15일 이후에 새로운 Amazon Elastic Inference(EI) 액셀러레이터를 생성할 수 있나요?
아니요. 신규 고객이고 지난 30일 동안 Amazon EI를 사용하지 않은 경우 2023년 4월 15일 이후에는 AWS 계정에서 새 Amazon EI 인스턴스를 생성할 수 없습니다. 하지만 지난 30일 동안 Amazon EI 액셀러레이터를 한 번 이상 사용한 적이 있는 경우 새 Amazon EI 액셀러레이터를 인스턴스에 연결할 수 있습니다.
Q: 현재 Amazon Elastic Inference(EI) 액셀러레이터를 사용하고 있습니다. 2023년 4월 15일 이후에도 계속 사용할 수 있나요?
예. Amazon EI 액셀러레이터를 사용할 수 있습니다. Amazon EI에서 실행 중인 현재 ML 추론 워크로드를 최대한 빠른 시일 내에 다른 하드웨어 액셀러레이터 옵션으로 마이그레이션하는 것이 좋습니다.
Q: 현재 Amazon SageMaker Inference 엔드포인트의 대체 인스턴스 옵션을 평가하려면 어떻게 해야 하나요?
Amazon SageMaker Inference Recommender는 기존 워크로드를 Amazon Elastic Inference(EI)에서 SageMaker가 지원하는 적절한 ML 인스턴스로 마이그레이션할 때의 비용 효율적인 배포를 식별하는 데 도움이 될 수 있습니다.
Q: Amazon SageMaker에서 기존 엔드포인트의 인스턴스 유형을 변경하려면 어떻게 해야 하나요?
- 먼저 새 인스턴스 유형을 사용하는 새 EndpointConfig를 생성합니다. 자동 규모 조정 정책이 있는 경우 기존의 자동 규모 조정 정책을 삭제합니다.
- 새로 만든 EndpointConfig를 지정하여 UpdateEndpoint를 호출합니다.
- 엔드포인트 상태가 InService로 변경될 때까지 기다립니다. 이 작업에는 약 10~15분이 소요됩니다.
- 마지막으로, 새 엔드포인트에 대한 자동 규모 조정이 필요한 경우 이 새 엔드포인트 및 ProductionVariant에 대한 새 자동 규모 조정 정책을 생성합니다.
Q: Amazon Elastic Inference(EI)를 사용하여 기존 Amazon SageMaker 노트북 인스턴스의 인스턴스 유형을 변경하려면 어떻게 해야 하나요?
콘솔에서 ‘Notebook instances(노트북 인스턴스)’를 클릭한 다음 업데이트하려는 노트북 인스턴스를 클릭합니다. 노트북 인스턴스가 ‘Stopped(중지됨)’ 상태인지 확인합니다. 그러면 ‘Edit(편집)’를 클릭하고 인스턴스 유형을 변경할 수 있습니다. 노트북 인스턴스가 시작될 때 새 인스턴스에 적합한 커널을 선택해야 합니다.
Q: Amazon Elastic Inference(EI) 대신 사용할 수 있는 특정 인스턴스 유형이 있나요?
모든 기계 학습 워크로드는 고유합니다. Amazon SageMaker Inference Recommender를 사용하면 ML 워크로드, 성능 요구 사항 및 예산에 적합한 인스턴스 유형을 식별하는 데 도움이 됩니다. AWS Inferentia, 특히 inf1.xlarge는 Amazon EI 고객이 저렴한 비용으로 대신 사용할 수 있는 최고의 고성능 옵션입니다. 아래 표에 Inferentia를 사용하는 SageMaker의 다양한 Amazon EI 액셀러레이터 옵션에 대한 시간당 성능 및 요금이 비교되어 있습니다. c5.xlarge 호스트 인스턴스를 가정할 때 Inferentia는 최고의 가격 및 성능을 제공하며 모든 Amazon EI 인스턴스보다 시간당 비용이 저렴합니다(아래 표 참조). 모델을 AWS Inferentia에 배포하려면 먼저 컴파일해야 한다는 점에 유의하세요. SageMaker 고객은 SageMaker Neo 설정 ‘ml_inf’를 TargetDevice로 사용하여 모델을 컴파일할 수 있습니다. SageMaker를 사용하지 않는 경우 AWS Neuron 컴파일러를 직접 사용하세요.
아래 가격은 us-east-2 리전을 가정한 가격입니다.
| 인스턴스 유형 + Elastic Inference | 시간당 EI 요금 | 시간당 총 EI 비용 | AWS Inferentia 대비 추가 요금 | EI 대비 Inferentia의 비용 절감 | 성능(FP16 TFLOP) | Inferentia를 통한 성능 개선 |
| ml.c5.xlarge + ml.eia2.medium | 0.17 USD | 0.37 USD | 0.07 USD | 19% | 8 | 8배 |
| ml.c5.xlarge + ml.eia1.medium | 0.18 USD | 0.39 USD | 0.09 USD | 23% | 8 | 8배 |
| ml.c5.xlarge + ml.eia2.large | 0.34 USD | 0.54 USD | 0.24 USD | 44% | 16 | 4배 |
| ml.c5.xlarge + ml.eia1.large | 0.36 USD | 0.57 USD | 0.27 USD | 47% | 16 | 4배 |
| ml.c5.xlarge + ml.eia2.xlarge | 0.48 USD | 0.68 USD | 0.38 USD | 56% | 32 | 2배 |
| ml.c5.xlarge + ml.eia1.xlarge | 0.73 USD | 0.93 USD | 0.63 USD | 68% | 32 | 2배 |
Q: Amazon Elastic Inference는 무엇인가요?
A: Amazon Elastic Inference (Amazon EI)는 가속화된 컴퓨팅 서비스로, GPU 기반 추론 가속화의 올바른 양을 Amazon EC2, Amazon SageMaker 인스턴스 유형 또는 Amazon ECS 작업에 연결할 수 있습니다. 따라서 이제 애플리케이션의 전체 컴퓨팅, 메모리 및 스토리지 요구 사항에 가장 적합한 인스턴스 유형을 선택한 후 필요한 양의 추론 가속을 별도로 구성할 수 있습니다.
Q: Amazon Elastic Inference 액셀러레이터는 무엇입니까?
A : Amazon Elastic Inference 액셀러레이터는 저렴한 비용으로 딥 러닝 학습 추론 작업량을 가속화하기 위해 모든 EC2 인스턴스, SageMaker 인스턴스 또는 ECS 작업과 함께 작동하도록 설계된 GPU 기반 하드웨어 장치입니다. Amazon Elastic Inference를 사용하여 EC2 인스턴스 또는 ECS 작업을 시작하면 액셀러레이터가 네트워크를 통해 인스턴스에 프로비저닝되고 연결됩니다. Amazon Elastic Inference에 사용할 수 있는 TensorFlow Serving, Apache MXNet 및 PyTorch와 같은 딥 러닝 도구 및 프레임워크는 연결된 엑셀러레이터에 모델 계산을 자동으로 감지하고 오프로드할 수 있습니다.
Q: Amazon Elastic inference 액셀러레이터 패밀리 유형은 서로 어떻게 다릅니까?
A. EIA2 액셀러레이터는 동급의 EIA1 액셀러레이터에 비해 2배의 GPU 메모리를 포함합니다. 고객은 모델 및 텐서 입력 크기를 기준으로 GPU 메모리 요구 사항을 결정하고 요구 사항에 맞는 올바른 액셀러레이터 패밀리 및 유형을 선택할 수 있습니다.
구성
Q: Amazon Elastic Inference 액셀러레이터를 어떻게 프로비저닝할 수 있습니까?
A: AWS 관리 콘솔, AWS 명령줄 인터페이스 (CLI) 또는 AWS SDK를 사용하여 Amazon Elastic Inference 엑셀러레이터로 Amazon SageMaker 엔드포인트 또는 Amazon EC2 인스턴스 또는 Amazon ECS 작업을 구성할 수 있습니다. 액셀러레이터가 있는 EC2 인스턴스를 시작하는데 두 가지 요구 사항이 있습니다. 첫 번째, 액셀러레이터를 시작할 서브넷에 대해 AWS PrivateLink VPC 엔드포인트를 프로비저닝 해야 합니다. 두 번째, 인스턴스를 시작할 때 인스턴스에 액세스하는 사용자가 액셀러레이터에 연결할 수 있도록 인스턴스 역할에 정책을 제공해야 합니다. Amazon EI로 시작을 위해 인스턴스를 구성하면 액셀러레이터는 VPC 엔드포인트 뒤의 동일 가용 영역에 프로비저닝됩니다.
Q: Amazon Elastic Inference의 지원 모델 형식은 무엇입니까?
A: Amazon Elastic Inference는 TensorFlow, Apache MXNet, PyTorch 및 ONNX 모델을 사용하는 훈련 모델을 지원합니다.
Q: TensorFlow, Apache MXNet 또는 PyTorch 프레임워크를 사용하여 Amazon Elastic Inference에 모델을 배포 할 수 있습니까?
A: 예. 모델 배포와 추론 호출을 위해 AWS 강화 TensorFlow Serving, Apache MXNet 및 PyTorch 라이브러리를 사용할 수 있습니다.
Q: AWS 최적 프레임워크에 액세스하려면 어떻게 합니까?
A: AWS Deep Learning AMI는 Amazon Elastic Inference 액셀러레이터와 함께 사용하도록 최적화된 TensorFlow Serving, Apache MXNet 및 PyTorch의 최신 릴리스가 포함되어 있습니다. 사용자만의 AMI 또는 컨테이너 이미지를 구축하기 위해 Amazon S3를 통해 라이브러리를 얻을 수도 있습니다. 자세한 내용은 설명서(https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/elastic-inference.html)를 참조하십시오.
Q: CUDA를 Amazon Elastic Inference 액셀러레이터와 사용할 수 있습니까?
A: 아니오. Amazon Elastic Inference 액셀러레이터에 대한 인터페이스로서 AWS 강화 TensorFlow Serving, Apache MXNet 또는 PyTorch 라이브러리만 사용할 수 있습니다.
요금 및 결제
Q: Amazon Elastic Inference 사용에 대한 요금은 어떻게 부과됩니까?
A: 사용한 Amazon Elastic Inference 액셀러레이터의 시간에 대해서만 지불하면 됩니다. 자세한 내용은 요금 페이지를 참조하십시오.
Q: Amazon Elastic Inference 서비스를 위한 AWS PrivateLink VPC 종단점 비용이 청구됩니까?
VPC 종단점이 프로비저닝된 가용 영역에서 실행되는 액셀러레이터로 구성된 인스턴스가 하나 이상 있는 경우, Amazon Elastic Inference용 AWS PrivateLink VPC 종단점에는 요금이 부과되지 않습니다.
