AWS Trainium
O AWS Trainium é o acelerador de machine learning (ML) de segunda geração que a AWS criou especificamente para treinamento de aprendizado profundo de mais de 100 bilhões de modelos de parâmetros. Cada instância Trn1 do Amazon Elastic Compute Cloud (EC2) implanta até 16 aceleradores AWS Trainium para oferecer uma solução de alta performance e baixo custo para treinamento de aprendizado profundo (DL) na nuvem. Embora o uso do aprendizado profundo esteja se acelerando, muitas equipes de desenvolvimento são limitadas por orçamentos fixos, o que limita o escopo e a frequência do treinamento necessários para melhorar seus modelos e aplicações. As instâncias EC2 Trn1 baseadas em Trainium resolvem esse desafio, oferecendo um tempo de treinamento mais rápido e, ao mesmo tempo, uma economia de custo de treinamento de até 50% em relação a instâncias Amazon EC2 comparáveis. O Trainium foi otimizado para treinar processamento de linguagem natural, visão computacional e modelos de recomendação usados em um amplo conjunto de aplicativos, como resumo de texto, geração de código, resposta a perguntas, geração de imagem e vídeo, recomendação e detecção de fraude.
Benefícios
Desenvolvido especificamente para treinamento de aprendizado profundo de alta performance
Cada acelerador Trainium inclui dois NeuronCores de segunda geração que são criados especificamente para algoritmos de aprendizado profundo. Para dar suporte ao paralelismo eficiente de dados e modelos, cada acelerador Trainium tem 32 GB de memória de alta largura de banda, oferece até 190 TFLOPS de potência de computação FP16/BF16 e apresenta NeuronLink, uma tecnologia de interconexão sem bloqueio de velocidade ultra-alta intra-instância.
Otimizado para modelos de última geração
O Trainium tem suporte nativo para uma ampla variedade de tipos de dados (FP32, TF32, BF16, FP16, UINT8 e FP8 configurável). Ele tem suporte a arredondamento estocástico acelerado por hardware para oferecer alta performance e maior precisão em comparação com os modos de arredondamento antigos. O Trainium também fornece suporte para fluxo de controle e operadores personalizados escritos em C++ para fornecer uma infraestrutura flexível e preparada para o futuro que atende suas necessidades de treinamento.
Suporte nativo para estruturas e bibliotecas de ML
O AWS Neuron SDK, que oferece suporte ao Trainium, está nativamente integrado ao PyTorch e ao TensorFlow. Isso garante que você possa continuar usando seus fluxos de trabalho existentes nessas frameworks populares e começar a usar o Trainium com apenas algumas linhas de alterações de código. Para treinamento de modelos distribuídos, o Neuron SDK oferece suporte a bibliotecas, como Megatron-LM e PyTorch Fully Sharded Data Parallel (FSDP). Para começar rapidamente com as instâncias Trn1 do EC2 com a tecnologia Trainium, consulte exemplos de modelos conhecidos na documentação do Neuron.
SDK do AWS Neuron
O AWS Neuron é um SDK que consiste em um compilador, tempo de execução e ferramentas de criação de perfil que você pode usar para executar treinamentos de alta performance em instâncias Trn1 do Amazon EC2 com a tecnologia AWS Trainium. Ao usar o Neuron, você pode usar seus fluxos de trabalho existentes em frameworks populares, como TensorFlow e PyTorch, e treinar de forma otimizada em instâncias Trn1 do EC2 com o mínimo de alterações de código. O Neuron vem pré-configurado nas AMIs de deep learning da AWS (DLAMIs) e contêineres do AWS Deep Learning, facilitando o começo do uso das instâncias Trn1.
AWS Inferentia
O AWS Inferentia é um acelerador de inferência de ML projetado pela AWS que oferece alta performance e a inferência de ML de baixo custo na nuvem. As instâncias Inf1 do Amazon EC2 baseadas em aceleradores do AWS Inferentia fornecem throughput até 2,3 vezes maior e um custo por inferência até 70% menor em comparação com as instâncias do Amazon EC2.
Obtenha acesso instantâneo ao nível gratuito da AWS.
