Instâncias Trn2 do Amazon EC2 estão disponíveis ao público em geral
Hoje, a AWS anuncia a disponibilidade geral das instâncias Trn2 do Amazon Elastic Compute Cloud (Amazon EC2) e a pré-visualização dos Trn2 UltraServers, com tecnologia de chips AWS Trainium2. Disponíveis por meio dos Blocos de Capacidade do EC2, as instâncias Trn2 e os UltraServers são as soluções de computação mais poderosas do EC2 para aprendizado profundo e treinamento e inferência de IA generativa.
Você pode usar instâncias Trn2 para treinar e implantar os modelos de base mais exigentes, incluindo grandes modelos de linguagem (LLMs), modelos multimodais, transformadores de difusão e muitos outros recursos para criar um amplo conjunto de aplicações de IA. Para reduzir o tempo de treinamento e oferecer tempos de resposta revolucionários (latência por token) para os modelos mais avançados e capazes, pode ser necessário contar com mais recursos de computação e memória do que uma única instância pode fornecer. O Trn2 UltraServers é uma oferta completamente nova do EC2 que usa o NeuronLink, uma malha de alta largura de banda e baixa latência, para conectar 64 chips Trainium2 em quatro instâncias Trn2 como um único nó para proporcionar uma performance inigualável. Para tarefas de inferência, os UltraServers ajudam a proporcionar os menores tempos de resposta do setor para criar as melhores experiências em tempo real. Para tarefas de treinamento, os UltraServers aumentam a velocidade e a eficiência do treinamento de modelos com uma comunicação coletiva mais rápida para o paralelismo de modelos, em comparação com as instâncias independentes.
As instâncias Trn2 usam 16 chips Trainium2 para fornecer até 20,8 petaflops de computação FP8, 1,5 TB de memória de alta largura de banda com 46 TB/s de largura de banda de memória e 3,2 Tbps de rede EFA. O Trn2 UltraServers usa 64 chips Trainium2 para fornecer até 83,2 petaflops de computação FP8, 6 TB de memória total de alta largura de banda com 185 TB/s de largura de banda de memória total e 12,8 Tbps de rede EFA. Ambos são implantados em UltraClusters do EC2 para fornecer recursos de escalabilidade horizontal de petabits sem bloqueio para treinamento distribuído. As instâncias Trn2 estão disponíveis ao público em geral no tamanho trn2.48xlarge na região da AWS Leste dos EUA (Ohio) por meio dos Blocos de Capacidade do EC2 para ML.
Para saber mais sobre as instâncias Trn2 e solicitar acesso aos Trn2 UltraServers, acesse a página de instâncias Trn2.