O Amazon ECS agora oferece suporte ao compartilhamento de GPU com o NVIDIA Multi-Process Service (MPS)
O Amazon Elastic Container Service (Amazon ECS) agora oferece suporte ao compartilhamento de GPU com o NVIDIA Multi-Process Service (MPS), permitindo que você execute várias tarefas do Amazon ECS simultaneamente em uma única GPU NVIDIA. O compartilhamento de GPU ajuda você a aumentar a utilização da GPU e reduzir os custos de infraestrutura para workloads que usam apenas parte da capacidade de uma GPU, como inferência do modelo pequeno, simulações AV/ADAS, geração de incorporação e serviço de vários modelos.
Com o compartilhamento de GPU, você pode empacotar mais workloads em cada instância de GPU sem alterar o código do aplicativo. Você define a memória de GPU que cada contêiner precisa e, opcionalmente, pode definir uma parcela máxima da computação de GPU, e o Amazon ECS coloca tarefas em GPUs com capacidade disponível à medida que seus serviços são escalados e implantados. O compartilhamento de GPU tem suporte nas instâncias gerenciadas do Amazon ECS e no Amazon ECS no Amazon EC2. Nas instâncias gerenciadas do Amazon ECS, o Amazon ECS também monitora o daemon de controle MPS que permite o compartilhamento em cada instância. Se o daemon parar ou ficar incorreto, o Amazon ECS substitui automaticamente a instância e move suas tarefas para uma capacidade íntegra, para que suas workloads de GPU continuem funcionando sem intervenção manual.
Para começar, use o Console de Gerenciamento da AWS, a CLI da AWS, os SDKs da AWS, o AWS CloudFormation ou outras ferramentas de infraestrutura como código para criar um provedor de capacidade com instâncias de GPU da NVIDIA, definir a estratégia de compartilhamento de GPU e a memória na definição do contêiner de sua definição de tarefa e criar um serviço nesse provedor de capacidade. Esse recurso está disponível em todas as regiões comerciais da AWS e nas regiões da AWS GovCloud (EUA). Para saber mais, acesse a documentação de compartilhamento de GPU do Amazon ECS.