Publicado en: Oct 27, 2023
AWS Neuron es el SDK para instancias basadas en Inferentia y Trainium de Amazon EC2, diseñado específicamente para la IA generativa. Hoy, con la versión 2.15 de Neuron, anunciamos la compatibilidad con el entrenamiento del modelo Llama-2 70b, así como la compatibilidad con PyTorch 2.0.
Neuron se integra con marcos de machine learning populares, como PyTorch y TensorFlow, para que usted pueda empezar con cambios de código mínimos y sin soluciones específicas del proveedor. Neuron incluye un compilador, una versión ejecutable, herramientas de creación de perfiles y bibliotecas para respaldar el entrenamiento de alto rendimiento de modelos de IA generativa en instancias Trn1 y la inferencia en instancias Inf2. Esta versión agrega soporte de entrenamiento del modelo Llama-2 70b con la biblioteca Neuron Distributed y agrega soporte beta para PyTorch 2.0.
Puede usar el SDK de AWS Neuron para entrenar e implementar modelos en las instancias Inf2 y Trn1, que están disponibles como instancias bajo demanda, instancias reservadas e instancias de spot, o como parte de un Savings Plan en las siguientes regiones de AWS: Este de EE. UU. (Norte de Virginia), Oeste de EE. UU. (Oregón) y Este de EE. UU. (Ohio).
Para obtener una lista completa de las nuevas características y mejoras de Neuron 2.15, visite las notas de la versión de Neuron. Para empezar a usar Neuron, consulte: