O Amazon ECS agora oferece suporte ao agendamento fracionário de GPU com instâncias G6f do Amazon EC2
O Amazon Elastic Container Service (Amazon ECS) agora oferece suporte ao agendamento fracionário de GPU com instâncias G6f do Amazon EC2, permitindo que você execute suas workloads em partições de GPU tão pequenas quanto um oitavo de uma GPU NVIDIA L4 Tensor Core com 3 GB de memória GPU. As GPUs fracionárias oferecem a flexibilidade de dimensionar corretamente seus contêineres para inferência de IA em modelos pequenos, experimentação de modelos, renderização gráfica e outras workloads que não exigem uma GPU completa, ajudando a reduzir os custos de infraestrutura em comparação com o provisionamento de uma instância de GPU completa.
Você pode solicitar uma GPU fracionária definindo GPU=0,125, GPU=0,25 ou GPU=0,5 na definição de contêiner da sua definição de tarefa do Amazon ECS. Em seguida, o Amazon ECS coloca a tarefa em uma instância G6f que satisfaz a solicitação. A configuração fracionária de GPU é suportada nas instâncias gerenciadas do Amazon ECS e no Amazon ECS no EC2. Com as instâncias gerenciadas do ECS, você obtém uma experiência totalmente gerenciada em que o ECS gerencia automaticamente o provisionamento, a escalabilidade, a aplicação de patches e o gerenciamento do ciclo de vida de instâncias, para que você possa se concentrar nas workloads da GPU em vez das operações de infraestrutura. As instâncias gerenciadas do ECS incluem recursos criados especificamente para cargas de trabalho aceleradas: métricas de GPU (utilização, memória e temperatura) por meio do Amazon CloudWatch Container Insights e do monitoramento automático de integridade que detecta falhas de hardware específicas da GPU e substitui instâncias não íntegras para minimizar a interrupção da workload.
Esse recurso está disponível em todas as regiões da AWS em que as instâncias G6f do Amazon EC2 estão disponíveis. Para começar, use o Console de Gerenciamento da AWS, a CLI da AWS, os SDKs da AWS, o AWS CloudFormation ou outras ferramentas de infraestrutura como código para configurar um provedor de capacidade com instâncias G6f e especificar um valor fracionário de GPU na definição do contêiner da sua definição de tarefa do ECS. Para saber mais, acesse a documentação da GPU fracionária do Amazon ECS e a página da instância G6 do Amazon EC2.