Clientes do AWS Trainium

Desempenho e escala não são apenas requisitos técnicos, são essenciais para cumprir essa missão. É por isso que fizemos uma parceria com a AWS como nosso principal provedor de nuvem para criar o Projeto Rainier, um dos supercomputadores operacionais de IA mais potentes do mundo. Com quase um milhão de chips Trainium2 treinando e fazendo manutenção do Claude atualmente, estamos entusiasmados com o Trainium3 e esperamos continuar a ajustar a escala do Claude para muito além do que construímos com o Projeto Rainier, desafiando os limites do que é possível com a IA.

James Bradbury, chefe de computação da Anthropic.

Nossa parceria com a AWS nos dá os dois. O Trainium possibilita que nossos clientes escalem o uso do modelo da Poolside a uma relação entre preço e performance única em comparação com outros aceleradores de IA. Além disso, a próxima compatibilidade nativa com Pytorch e vLLM do Trainium proporcionará ainda mais inovação e flexibilidade para os usuários do Trainium, inclusive a Poolside. Acima de tudo, o foco no cliente da AWS é um destaque e a AWS conseguiu iterar e usar nosso feedback rapidamente para adaptar o Trainium às nossas necessidades. Esperamos ampliar nossa colaboração em todos os aspectos do Trainium.

Joe Rowell, engenheiro fundador

A arquitetura exclusiva do Trainium, com hierarquia de memória eficiente e mecanismos de IA de alto throughput, provou ser ideal para os modelos de vídeo em tempo real da Decart, impulsionando a utilização total do hardware. Os testes iniciais mostram um throughput de quadros até 4 vezes maior e uma eficiência de custo 2 vezes melhor em comparação com as melhores GPUs, com a latência reduzida de 40 ms para 10 ms. Esse desempenho permite a geração dinâmica e interativa de vídeos em tempo real e grande escala, o que era impraticável no hardware padrão. Por meio do Bedrock, esses recursos em breve poderão ser acessados diretamente pelos clientes da AWS.

Dean Leitersdorf, cofundador e CEO
 

Ao adotar o AWS Trainium, reduzimos nossos custos de treinamento em LLM em mais de 50%, mantendo a disponibilidade consistente da infraestrutura. Isso nos permitiu criar o modelo de idioma japonês mais preciso do Japão e, ao mesmo tempo, ficar bem abaixo do orçamento. A estabilidade da infraestrutura também proporcionou ganhos inesperados de produtividade, permitindo que nossa equipe se concentre na inovação em vez de na solução de problemas.

Tomofumi Nakayama, CPO

Em 2025, a comunidade de IA atingiu um ponto de inflexão com mais de 10 milhões de criadores de IA usando e compartilhando milhões de modelos e conjuntos de dados abertos na Hugging Face. Agora é mais importante do que nunca reduzir o custo da execução de modelos abertos cada vez maiores e mais diversificados para garantir que a IA beneficie todas as pessoas e setores. Na Hugging Face, trabalhamos com as equipes de engenharia da AWS para criar chips de IA com propósito específico desde que as primeiras instâncias Inferentia1 foram disponibilizadas. Então, atualmente, estamos muito empolgados com o Trainium3, a próxima geração de chips de IA da AWS que capacitará os aplicativos de IA mais exigentes, desde MoE LLMs até modelos de atendente e geração de vídeo. Com o Optimum Neuron, estamos comprometidos em levar os benefícios de alta memória e custo-benefício do Trainium 3 aos milhões de usuários de Transformers, Accelerate, Diffusers e TRL, assim eles poderão criar sua própria IA enquanto controlam os custos.

A visão do PyTorch é simples: o mesmo código deve ser executado em qualquer lugar, em qualquer plataforma de hardware. A compatibilidade nativa do Trainium da AWS oferece essa opção de hardware para pesquisadores que precisam experimentar e iterar com rapidez e liberdade. Com o lançamento do AWS Trainium3, os desenvolvedores da PyTorch podem pesquisar, criar e implantar suas ideias com maior desempenho, menor latência e melhor economia de token, mantendo os fluxos de trabalho do PyTorch com os quais estão familiarizados e permanecendo dentro do ecossistema que já conhecem.