AWS Neuron anuncia suporte ao Dynamic Resource Allocation com o Amazon EKS
A AWS anuncia o driver Dynamic Resource Allocation (DRA) do Neuron para o Amazon Elastic Kubernetes Service (EKS), e traz o agendamento com reconhecimento de hardware nativo do Kubernetes para instâncias baseadas no AWS Trainium. O driver DRA do Neuron publica atributos avançados do dispositivo diretamente no agendador do Kubernetes, além de permitir decisões de posicionamento com reconhecimento de topologia sem extensões personalizadas do agendador.
A implantação de workloads de IA no Kubernetes exige que os engenheiros de ML tomem decisões de infraestrutura que não estejam diretamente relacionadas ao desenvolvimento do modelo, como definir o número de dispositivos, entender as topologias de hardware e rede e escrever manifestos específicos para cada acelerador. Isso gera atritos, desacelera a iteração e cria um forte acoplamento entre as workloads e a infraestrutura subjacente. À medida que os casos de uso se expandem para treinamento distribuído, inferência de longos contextos e arquiteturas desagregadas, essa complexidade se torna um gargalo para a escalabilidade.
O driver DRA do Neuron elimina essa carga ao separar as preocupações com a infraestrutura dos fluxos de trabalho de ML. As equipes de infraestrutura definem ResourceClaimTemplates reutilizáveis que capturam as políticas de topologia, alocação e rede de dispositivos. Os engenheiros de ML podem simplesmente referenciar esses modelos em seus manifestos, sem precisar se preocupar com os detalhes do hardware. Isso permite implantações consistentes em todos os tipos de workloads, ao mesmo tempo em que permite a configurações específicas por workload, de modo que várias workloads possam compartilhar os mesmos nós de forma eficiente.
O driver DRA do Neuron oferece suporte a todos os tipos de instância do AWS Trainium e está disponível em todas as regiões da AWS que oferecem o AWS Trainium.
Para obter a documentação, os modelos de amostra e os guias de implementação, consulte a documentação do DRA do Neuron.
Saiba mais: