Publicado: Oct 27, 2023
O AWS Neuron é o SDK criado especificamente para IA generativa em instâncias do Amazon EC2 baseadas em Inferentia e Trainium. Hoje, com o lançamento do Neuron 2.15, estamos anunciando o suporte para o treinamento do modelo Llama-2 70b e ao PyTorch 2.0.
O Neuron se integra a estruturas de ML populares, como PyTorch e TensorFlow, para que você possa começar a usar com o mínimo de alterações de código e sem soluções específicas de fornecedores. O Neuron inclui compilador, runtime, ferramentas de criação de perfil e bibliotecas para oferecer suporte ao treinamento de alta performance de modelos de IA generativa em instâncias Trn1 e à inferência em instâncias Inf2. Esta versão adiciona suporte ao treinamento do modelo Llama-2 70b com a biblioteca Neuron Distributed e suporte beta ao PyTorch 2.0.
Você pode usar o AWS Neuron SDK para treinar e implantar modelos em instâncias Trn1 e Inf2, disponíveis como instâncias sob demanda, reservadas e spot, ou como parte de Savings Plans, nas seguintes regiões da AWS: Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon) e Leste dos EUA (Ohio).
Para obter uma lista completa dos novos recursos e aprimoramentos do Neuron 2.15, acesse as notas de release do Neuron. Para começar a usar o Neuron, consulte: