Publicado: Aug 29, 2023
O AWS Neuron é o SDK criado especificamente para IA generativa em instâncias do Amazon EC2 baseadas em Inferentia e Trainium. Hoje, com o lançamento do Neuron 2.13, passamos a oferecer suporte a treinamento e inferência de modelos no Llama 2, treinamento de modelos no GPT-NeoX e inferência de modelos no Stable Diffusion XL e CLIP.
O Neuron se integra a estruturas de ML populares, como PyTorch e TensorFlow, para que você possa começara usar com o mínimo de alterações de código e sem soluções específicas de fornecedores. O Neuron inclui compilador, runtime, ferramentas de criação de perfil e bibliotecas para oferecer suporte ao treinamento de alta performance de modelos de IA generativa em instâncias Trn1 e à inferência em instâncias Inf2. O Neuron 2.13 introduz a biblioteca AWS Neuron Reference for Nemo Megatron que oferece suporte ao treinamento distribuído de LLMs, como Llama 2 e GPT-3, e adiciona suporte ao treinamento de modelos GPT-NeoX com a biblioteca Neuron Distributed. Esta versão adiciona suporte à inferência otimizada de LLMs para Llama 2 com a biblioteca Transformers Neuron e à inferência de modelos SDXL, Perceiver e CLIP usando PyTorch Neuron.
Você pode usar o AWS Neuron SDK para treinar e implantar modelos em instâncias Trn1 e Inf2, disponíveis como instâncias sob demanda, reservadas e spot, ou como parte de um Savings Plans, nas seguintes regiões da AWS: Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon) e Leste dos EUA (Ohio).
Para obter uma lista completa dos novos recursos e aprimoramentos do Neuron 2.13, acesse as notas de release do Neuron. Para começar a usar o Neuron, consulte: