instâncias Trn1 do amazon EC2
A melhor performance de preço para o treinamento de modelos de aprendizado profundo na nuvem
As instâncias Trn1 do Amazon Elastic Compute Cloud (Amazon EC2) oferecerão a melhor performance de preço para treinamento de modelos de aprendizado profundo na nuvem para casos de uso como processamento de linguagem natural (PLN), visão computacional, pesquisa, recomendação, classificação e muito mais. As instâncias Trn1 têm tecnologia AWS Trainium, o segundo chip de machine learning (ML) projetado pela AWS otimizado para treinamento de aprendizado profundo de alta performance.
As instâncias Trn1 são compatíveis com até 16 aceleradores do AWS Trainium, até 800 Gbps de largura de banda de rede do Elastic Fabric Adapter (EFA) e 768 GB/s de conectividade NeuronLink de altíssima velocidade.
As instâncias Trn1 são implantadas no Amazon EC2 UltraClusters, que consiste em dezenas de milhares de aceleradores Trainium para treinar rapidamente até mesmo os modelos de aprendizado profundo mais complexos com trilhões de parâmetros.
Os desenvolvedores podem começar a usar rapidamente as instâncias Trn1 usando o AWS Neuron SDK e treinar modelos facilmente usando as principais frameworks de ML.
Benefícios
A melhor performance de custo para treinamento do modelo
As instâncias Trn1 são equipadas com aceleradores do AWS Trainium criados especificamente para treinamento de ML para oferecer a melhor performance de preço para treinamento de modelos de aprendizado profundo na nuvem.
Reduza o treinamento do modelo de meses para dias
Implante instâncias Trn1 no EC2 UltraClusters para escalar o treinamento do modelo para mais de 10.000 aceleradores interconectados com rede em escala de petabits para o treinamento de ML mais rápido no Amazon EC2.
Facilidade de uso
Você pode começar a usar facilmente as instâncias Trn1 usando o AWS Neuron SDK que vem integrado às principais frameworks de ML, como PyTorch e TensorFlow, e continuar usando fluxos de trabalho de ML existentes com alterações mínimas de código.
Maximize a eficiência de recursos
As instâncias Trn1 são criadas no AWS Nitro System, uma combinação de hardware dedicado e hipervisor leve que fornece uma rica coleção de componentes modulares flexíveis para reunir os recursos de computação, armazenamento, memória e rede necessários para melhor performance e segurança gerais.
Recursos
Aceleradores do AWS Trainium
As instâncias Trn1 são alimentadas por até 16 aceleradores do AWS Trainium que têm mecanismos matemáticos específicos para processar algoritmos de DL, tornando os aceleradores mais eficientes do que GPUs de uso geral para treinar modelos de aprendizado profundo. Cada acelerador oferece até 210 trilhões de operações por segundo (TOPS) de potência computacional, suporta 32 GB de memória de alta largura de banda (HBM2e) e apresenta NeuronLink, uma interconexão intra-instância de ultra alta velocidade e sem bloqueio de 768 GB/s.
Redes e armazenamento de alta performance
As instâncias Trn1 fornecem até 800 Gbps de rede de alta performance. Elas também oferecem suporte ao Elastic Fabric Adapter (EFA), uma interface de rede personalizada projetada pela AWS para melhorar a eficiência da escalabilidade e fornecer baixas latências para um treinamento mais rápido. Cada instância Trn1 também oferece suporte a até 8 TB de armazenamento SSD NVMe local para acesso rápido a workload a grandes conjuntos de dados.
Amazon EC2 UltraClusters
As instâncias Trn1 são implantadas no EC2 UltraClusters, que consiste em dezenas de milhares de aceleradores Trainium interconectados com rede em escala de petabits totalmente sem bloqueio. Os desenvolvedores podem acessar alta taxa de transferência e armazenamento de baixa latência em escala de petabytes com o Amazon FSx for Lustre.
SDK do AWS Neuron
Comece a usar instâncias Trn1 do Amazon EC2 facilmente com o AWS Neuron SDK. O Neuron SDK consiste em um compilador, extensões de framework, uma biblioteca de tempo de execução e ferramentas do desenvolvedor integradas nativamente a estruturas de ML, como TensorFlow e PyTorch. Você pode usar bibliotecas de treinamento distribuídas, como Megatron-ML e DeepSpeed, para um treinamento de modelo eficiente e distribuído. O Neuron SDK oferece suporte a um grande número de operadores para processamento de linguagem natural de última geração e modelos de visão computacional. Desenvolvedores avançados podem implementar operadores personalizados com C++.
Baseadas no AWS Nitro System
As instâncias Trn1 são criadas no AWS Nitro System, que transfere muitas das funções tradicionais de virtualização para hardware e software dedicados para oferecer alta performance, alta disponibilidade e alta segurança, reduzindo a sobrecarga de virtualização.
Clientes
“Na Anthropic, construímos sistemas de IA confiáveis, interpretáveis e orientáveis que terão muitas oportunidades de criar valor comercialmente e para benefício público. Nossos interesses de pesquisa abrangem várias áreas, incluindo linguagem natural, feedback humano, leis de escalabilidade, aprendizado por reforço, geração de código e interpretabilidade. Uma chave importante para o nosso sucesso é o acesso à infraestrutura moderna que nos permite criar frotas muito grandes de aceleradores de aprendizado profundo de alta performance. Estamos ansiosos para usar o AWS Trainium, pois sua capacidade sem precedentes de escalar para dezenas de milhares de nós e maior largura de banda de rede nos permitirá iterar mais rapidamente, mantendo nossos custos sob controle.”
Tom Brown, cofundador da Anthropic
“Os modelos de ML de processamento de linguagem natural e visão computacional da Sprinklr analisam diferentes formatos de dados provenientes de postagens de mídia social publicamente disponíveis, postagens de blog, conteúdo de vídeo e outros conteúdos disponíveis em domínio público em mais de 30 canais. Com base em nosso valor ao usar o AWS Inferentia, estamos ansiosos para experimentar o AWS Trainium para melhorar o tempo de treinamento e reduzir os custos de treinamento para nossos modelos. Mal podemos esperar para desenvolver nossos modelos nessas instâncias de treinamento de alta performance e baixo custo.”
Vasant Srinivasan, vice-presidente sênior de Engrenharia do Produto na Sprinklr
Comece a usar a AWS
Comece a criar no console
Comece a criar usando os guias detalhados que ajudam a iniciar seu projeto da AWS.