Amazon ECS, 이제 NVIDIA Multi-Process Service(MPS)와 GPU 공유 지원
Amazon Elastic Container Service(Amazon ECS)가 NVIDIA Multi-Process Service(MPS)와 GPU 공유를 지원하므로 이제 단일 NVIDIA GPU에서 여러 Amazon ECS 태스크를 동시에 실행할 수 있습니다. GPU 공유를 활용하면 소규모 모델 추론, AV/ADAS 시뮬레이션, 임베딩 생성, 다중 모델 서비스 등, GPU 용량의 일부만 사용하는 워크로드의 GPU 활용도를 높이고 인프라 비용을 절감할 수 있습니다.
GPU 공유를 사용하면 애플리케이션 코드를 변경하지 않고 각 GPU 인스턴스에 더 많은 워크로드를 패킹할 수 있습니다. 각 컨테이너에 필요한 GPU 메모리를 정의하고 선택적으로 GPU 컴퓨팅의 최대 할당량을 설정하면, 서비스가 확장, 배포됨에 따라 Amazon ECS가 가용 용량이 있는 GPU에 태스크를 할당합니다. GPU 공유는 Amazon ECS 관리형 인스턴스와 Amazon ECS on Amazon EC2에서 지원됩니다. Amazon ECS 관리형 인스턴스에서 Amazon ECS는 각 인스턴스에서의 공유를 지원하는 MPS 제어 대몬도 모니터링합니다. 대몬이 중지되거나 비정상 상태가 되면 Amazon ECS가 자동으로 인스턴스를 교체하고, 태스크를 정상 용량으로 이동하므로 수동 개입 없이 GPU 워크로드가 계속 실행됩니다.
시작하려면 AWS Management Console, AWS CLI, AWS SDK, AWS CloudFormation 또는 기타 코드형 인프라 도구를 사용하여 NVIDIA GPU 인스턴스가 포함된 용량 공급자를 생성하고, 태스크 정의의 컨테이너 정의에서 GPU 공유 전략과 메모리를 설정한 다음, 해당 용량 공급자에 서비스를 생성하세요. 이 기능은 모든 AWS 상용 리전과 AWS GovCloud(미국) 리전에서 사용할 수 있습니다. 자세히 알아보려면 Amazon ECS GPU 공유 설명서를 참조하세요.