Anúncio dos Trn3 UltraServers do Amazon EC2 para treinamento de IA generativa mais rápido e econômico
A AWS anuncia a disponibilidade geral dos Trn3 UltraServers do Amazon Elastic Compute Cloud (Amazon EC2), baseados no nosso chip de IA de quarta geração Trainium3, o primeiro chip de IA de 3 nm da AWS com propósito específico de oferecer os menores custos de tokens para aplicações agênticas, de raciocínio e de geração de vídeo de última geração.
Cada chip AWS Trainium3 oferece 2,52 petaflops (PFLOPs) de computação FP8. Além disso, os 144 GB de memória HBM3e e 4,9 TB/s de largura de banda de memória proporcionam ganhos de 1,5 e 1,7 vez, respectivamente, em comparação com o Trainium2. O Trainium3 foi projetado para workloads paralelas densas e especializadas com tipos de dados avançados (MXFP8 e MXFP4). Além disso, oferece melhor equilíbrio entre memória e computação em tarefas de raciocínio, multimodais e em tempo real.
Os Trn3 UltraServers podem escalar até 144 chips Trainium3 (total de 362 PFLOPs FP8) e estão disponíveis em UltraClusters 3.0 do EC2 para escalar até centenas de milhares de chips. Um Trn3 UltraServer totalmente configurado oferece até 20,7 TB de HBM3e e 706 TB/s de largura de banda de memória agregada. O Trn3 UltraServer de próxima geração apresenta o NeuronSwitch-v1, uma malha de interconexão total com o dobro da largura de banda de interconexão entre chips oferecida pelo Trn2 UltraServer.
O Trn3 oferece performance até 4,4x maior, largura de banda de memória 3,9x maior e performance/watt 4 vezes melhor em comparação com nossos Trn2 UltraServers, oferecendo a melhor relação preço-performance para treinar e servir modelos de escala de ponta, incluindo arquiteturas de aprendizado por reforço, Mixture-of-Experts (MoE), raciocínio e longo contexto. No Amazon Bedrock, o Trainium3 é o nosso acelerador mais veloz, elevando a performance em até três vezes em relação ao Trainium2. Além disso, ele entrega um número de tokens de saída mais de cinco vezes maior por megawatt, mantendo a baixa latência por usuário.
Criados para pesquisadores de IA, os novos Trn3 UltraServers são baseados no AWS Neuron SDK e proporcionam uma performance inédita. Com a integração nativa ao PyTorch, os desenvolvedores podem realizar treinamentos e implantações sem alterar uma única linha de código dos modelos. Para engenheiros de performance de IA, habilitamos um acesso mais sofisticado ao Trainium3, que permite ajustar a performance, personalizar kernels e levar seus modelos ainda mais longe. Como a abertura promove a inovação, temos o compromisso de interagir com os desenvolvedores por meio de ferramentas e recursos de código aberto.