AWS Trainium

Acelerador de treinamento de machine learning de alta performance, desenvolvido especificamente pela AWS

O AWS Trainium é o chip de machine learning (ML) de segunda geração que a AWS criou especificamente para treinamento de aprendizado profundo. Cada instância Trn1 do Amazon Elastic Compute Cloud (EC2) implanta até 16 aceleradores AWS Trainium para oferecer uma solução de alta performance e baixo custo para treinamento de DL na nuvem. Embora o uso do aprendizado profundo esteja se acelerando, muitas equipes de desenvolvimento são limitadas por orçamentos fixos, o que limita o escopo e a frequência do treinamento necessários para melhorar seus modelos e aplicações. As instâncias Trn1 do EC2 baseadas em Trainium resolvem esse desafio, oferecendo um tempo de treinamento mais rápido e, ao mesmo tempo, proporcionando até 50% de economia no custo do treinamento em relação às instâncias comparáveis baseadas em GPU. O Trainium foi otimizado para treinar modelos de processamento de linguagem natural, visão computacional e recomendações usados em um amplo conjunto de aplicações, como reconhecimento de fala, recomendação, detecção de fraudes, reconhecimento de imagem e previsão.

Benefícios

Desenvolvido especificamente para treinamento de aprendizado profundo de alta performance

Cada acelerador Trainium inclui dois NeuronCores de segunda geração que são criados especificamente para algoritmos de aprendizado profundo. Para suportar dados eficientes e paralelismo de modelos, cada acelerador Trainium tem 32 GB de memória de alta largura de banda, fornece até 210 TFLOPS de potência computacional FP16/BF16 e apresenta o NeuronLink, uma tecnologia de interconexão sem bloqueio de velocidade ultra-alta e intra-instâncias.

Otimizado para modelos de última geração

O Trainium tem suporte nativo para uma ampla variedade de tipos de dados (FP32, TF32, BF16, FP16, UINT8 e FP8 configurável). Ele suporta arredondamento estocástico acelerado por hardware, para oferecer alta performance e maior precisão em comparação com os modos de arredondamento antigos. O Trainium também fornece suporte completo para formatos dinâmicos de tensores, fluxo de controle e operadores personalizados escritos em C++ para fornecer uma infraestrutura flexível e preparada para o futuro que atende suas necessidades de treinamento.

Suporte nativo para frameworks e bibliotecas de ML

O AWS Neuron SDK, que oferece suporte ao Trainium, está nativamente integrado ao PyTorch e ao TensorFlow. Isso garante que você possa continuar usando seus fluxos de trabalho existentes nessas frameworks populares e começar a usar o Trainium com apenas algumas linhas de alterações de código. Para treinamento de modelos distribuídos, o Neuron SDK oferece suporte a bibliotecas, como Megatron-LM e PyTorch Fully Sharded Data Parallel (FSDP). Para começar rapidamente com as instâncias Trn1 do EC2 com a tecnologia Trainium, consulte exemplos de modelos conhecidos na documentação do Neuron.

SDK do AWS Neuron

O AWS Neuron é um SDK que consiste em um compilador, tempo de execução e ferramentas de criação de perfil que você pode usar para executar treinamentos de alta performance em instâncias Trn1 do Amazon EC2 com a tecnologia AWS Trainium. Ao usar o Neuron, você pode usar seus fluxos de trabalho existentes em frameworks populares, como TensorFlow e PyTorch, e treinar de forma otimizada em instâncias Trn1 do EC2 com o mínimo de alterações de código. O Neuron vem pré-configurado nas AMIs de deep learning da AWS (DLAMIs) e contêineres do AWS Deep Learning, facilitando o começo do uso das instâncias Trn1.

Saiba mais »

AWS Inferentia

O AWS Inferentia é um acelerador de inferência de ML projetado pela AWS que oferece alta performance e a inferência de ML de baixo custo na nuvem. As instâncias Inf1 do Amazon EC2 baseadas em aceleradores do AWS Inferentia fornecem uma throughput até 2,3 vezes maior e um custo por inferência até 70% menor em comparação com a atual geração de instâncias do Amazon EC2 baseadas em GPU.

Saiba mais »

Cadastre-se para obter uma conta gratuita

Obtenha acesso instantâneo ao nível gratuito da AWS. 

Cadastrar-se 
Comece a criar no console

Comece a usar o Console AWS.

Faça login