Publicado: Dec 22, 2023
O AWS Neuron é o SDK criado especificamente para IA generativa em instâncias do Amazon EC2 baseadas em Inferentia e Trainium. Hoje, com o lançamento do Neuron 2.16, estamos anunciando o suporte à inferência de modelos Llama-2 70b em instâncias Inf2.
O Neuron se integra a estruturas de ML populares, como PyTorch e TensorFlow, para que você possa começar a usar com o mínimo de alterações de código e sem soluções específicas de fornecedores. O Neuron inclui compilador, runtime, ferramentas e bibliotecas para oferecer suporte ao treinamento e inferência de alta performance de modelos de IA generativa em instâncias Trn1 e Inf2.
O Neuron 2.16 adiciona suporte à inferência para os modelos Llama-2 70b e Mistral-7b com Transformers NeuronX. Esta versão inclui suporte para PyTorch 2.1 (beta) e Amazon Linux 2023. O Neuron 2.16 melhora a experiência do usuário no treinamento de modelos de LLM com o suporte ao PyTorch Lightning Trainer (beta). Agora, a inferência do PyTorch permite trocar dinamicamente diferentes pesos ajustados por modelos carregados. Esta versão apresenta a ferramenta Neuron Distributed Event Tracing (NDET) para melhorar a depuração e a criação de perfis de operadores de comunicação coletiva na ferramenta Neuron Profiler.
Você pode usar o AWS Neuron SDK para treinar e implantar modelos em instâncias Trn1 e Inf2, disponíveis como instâncias sob demanda, reservadas e spot, ou como parte de Savings Plans, nas seguintes regiões da AWS: Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon) e Leste dos EUA (Ohio).
Para obter uma lista completa dos novos recursos e aprimoramentos do Neuron 2.16, acesse as notas de release do Neuron. Para começar a usar o Neuron, consulte: