Amazon EKS agora oferece suporte a até 100.000 nós de processamento por cluster
Hoje, o Amazon EKS anuncia o suporte para até 100.000 nós de processamento em um cluster, permitindo que você execute workloads de inferência e treinamento de IA/ML em grande escala em um único cluster. Com os tipos de instância com computação acelerada do Amazon EC2 da nova geração, 100.000 nós de processamento aceitam até 1,6 milhão de chips Trainium com instâncias Trn2 e 800.000 GPUs da NVIDIA com instâncias P5 e P6 em um único cluster. Isso permite que você execute workloads de IA/ML em grande escala que exigem que todos os aceleradores de computação estejam disponíveis em um único cluster, pois essas workloads não podem ser distribuídas facilmente em vários clusters.
Os modelos de IA mais avançados com trilhões de parâmetros demonstram capacidades significativamente aprimoradas para entender o contexto, raciocinar e resolver tarefas complexas. Para criar e operar esses modelos cada vez mais poderosos, as organizações precisam de acesso a um grande número de aceleradores de computação em um único cluster. O acesso consolidado a um pool tão grande de aceleradores de computação oferece benefícios cruciais: permite que as organizações criem e implantem modelos de IA mais poderosos do que nunca, reduz custos compartilhando com eficiência aceleradores de computação entre workloads de treinamento e inferência e permite o uso contínuo das ferramentas e estruturas de IA/ML existentes que não foram projetadas para funcionar em clusters.
Para saber mais, consulte nosso blog de lançamento.