Publicado en: Dec 22, 2023
AWS Neuron es el SDK para instancias basadas en Inferentia y Trainium de Amazon EC2, diseñado específicamente para la IA generativa. Con la versión 2.16 de Neuron, anunciamos la compatibilidad con la inferencia de modelos de Llama-2 70b en instancias Inf2.
Neuron se integra con marcos de machine learning populares, como PyTorch y TensorFlow, para que usted pueda empezar con cambios de código mínimos y sin soluciones específicas del proveedor. Neuron incluye un compilador, una versión ejecutable, herramientas y bibliotecas para respaldar el entrenamiento de alto rendimiento y la inferencia de modelos de IA generativa en instancias Trn1 y en instancias Inf2.
Neuron 2.16 añade la compatibilidad de inferencia para los modelos Llama-2 70b y Mistral-7b con Transformers NeuronX. Esta versión incluye compatibilidad para PyTorch 2.1 (beta) y Amazon Linux 2023. Neuron 2.16 mejora la experiencia del usuario de entrenamiento del modelo LLM con la compatibilidad con PyTorch Lightning Trainer (beta). La inferencia de PyTorch ahora permite intercambiar dinámicamente diferentes pesos ajustados para los modelos cargados. Esta versión presenta la herramienta Neuron Distributed Event Tracing (NDET) para mejorar la capacidad de depuración y la creación de perfiles de los operadores de comunicación colectiva en la herramienta Neuron Profiler.
Puede usar el SDK de AWS Neuron para entrenar e implementar modelos en las instancias Inf2 y Trn1, disponibles como instancias bajo demanda, instancias reservadas e instancias de spot, o como parte de un Savings Plan en las siguientes regiones de AWS: Este de EE. UU. (Norte de Virginia), Oeste de EE. UU. (Oregón) y Este de EE. UU. (Ohio).
Para obtener una lista completa de las nuevas características y mejoras de Neuron 2.16, visite las notas de la versión de Neuron. Para empezar a usar Neuron, consulte: