Publicado en: Aug 29, 2023
AWS Neuron es el SDK para instancias basadas en Inferentia y Trainium de Amazon EC2, diseñado específicamente para la IA generativa. Hoy, con la versión 2.13 de Neuron, lanzamos la compatibilidad con el entrenamiento y la inferencia de modelos Llama 2 y el entrenamiento de modelos GPT-Neox. Además, agregamos compatibilidad con la inferencia de modelos Stable Diffusion XL y CLIP.
Neuron se integra con marcos de machine learning populares, como PyTorch y TensorFlow, para que usted pueda empezar con cambios de código mínimos y sin soluciones específicas del proveedor. Neuron incluye un compilador, una versión ejecutable, herramientas de creación de perfiles y bibliotecas para respaldar el entrenamiento de alto rendimiento de modelos de IA generativa en instancias Trn1 y la inferencia en instancias Inf2. Neuron 2.13 presenta la biblioteca AWS Neuron Reference para Nemo Megatron, que permite el entrenamiento distribuido de modelo de lenguaje de gran tamaño (LLM) como Llama 2 y GPT-3, y agrega compatibilidad con el entrenamiento de modelos GPT-Neox con la biblioteca Neuron Distributed. Esta versión agrega compatibilidad con la inferencia LLM optimizada para Llama 2 con la biblioteca Transformers Neuron y compatibilidad con la inferencia de modelos SDXL, Perceiver y CLIP mediante PyTorch Neuron.
Puede usar el SDK de AWS Neuron para entrenar e implementar modelos en las instancias Inf2 y Trn1, que están disponibles como instancias bajo demanda, instancias reservadas e instancias de spot, o como parte de un Savings Plan en las siguientes regiones de AWS: Este de EE. UU. (Norte de Virginia), Oeste de EE. UU. (Oregón) y Este de EE. UU. (Ohio).
Para obtener una lista completa de las nuevas características y mejoras de Neuron 2.13, visite las notas de la versión de Neuron. Para empezar a usar Neuron, consulte: