Amazon ECS, 이제 Amazon EC2 G6f 인스턴스로 부분 GPU 예약 지원
Amazon Elastic Container Service(Amazon ECS)가 Amazon EC2 G6f 인스턴스를 통한 부분 GPU 예약을 지원합니다. 이제 GPU 메모리가 3GB인 NVIDIA L4 Tensor Core GPU의 1/8만큼 작은 GPU 파티션에서 워크로드를 실행할 수 있습니다. 부분 GPU를 사용하면 소규모 모델 AI 추론, 모델 실험, 그래픽 렌더링, 그 외 전체 GPU가 필요하지 않은 워크로드에 맞게 컨테이너 크기를 유연하게 최적화할 수 있으므로, 전체 GPU 인스턴스를 프로비저닝하는 방식에 비해 인프라 비용을 절감할 수 있습니다.
Amazon ECS 태스크 정의의 컨테이너 정의에서 GPU=0.125, GPU=0.25 또는 GPU=0.5를 설정하여 부분 GPU를 요청할 수 있습니다. 그러면 Amazon ECS는 요청에 부합하는 G6f 인스턴스에 태스크를 배치합니다. 부분 GPU 구성은 Amazon ECS 관리형 인스턴스와 Amazon ECS on EC2 모두에 지원됩니다. ECS 관리형 인스턴스는 ECS가 자동으로 인스턴스 프로비저닝, 규모 조정, 패치 적용, 수명 주기 관리를 처리하는 완전관리형 환경을 제공하므로, 사용자는 인프라 운영보다는 GPU 워크로드에 집중할 수 있습니다. ECS 관리형 인스턴스에는 Amazon CloudWatch Container Insights를 통한 GPU 지표, GPU 하드웨어 오류를 감지하고 비정상적인 인스턴스를 교체하여 워크로드 중단을 최소화하는 자동 상태 모니터링 등, 가속화된 워크로드 전용으로 구축된 기능도 포함되어 있습니다.
이 기능은 Amazon EC2 G6f 인스턴스가 제공되는 모든 AWS 리전에서 사용할 수 있습니다. 시작하려면 AWS Management Console, AWS CLI, AWS SDK, AWS CloudFormation 또는 기타 코드형 인프라 도구를 사용하여 G6f 인스턴스로 용량 공급자를 구성하고, ECS 태스크 정의의 컨테이너 정의에서 부분 GPU 값을 지정하세요. 자세한 내용을 알아보려면 Amazon ECS 부분 GPU 설명서와 Amazon EC2 G6 인스턴스 페이지를 참조하세요.