Publié le: Aug 29, 2023
AWS Neuron est le SDK pour les instances basées sur Amazon EC2 Inferentia et Trainium, spécialement conçu pour l'IA générative. Aujourd'hui, avec la sortie de Neuron 2.13, nous lançons la prise en charge de l'entraînement et de l'inférence des modèles Llama 2, de l'entraînement des modèles GPT-Neox et ajoutons la prise en charge de l'inférence des modèles Stable Diffusion XL et CLIP.
Neuron s'intègre aux frameworks ML populaires tels que PyTorch et TensorFlow, ce qui vous permet de démarrer avec un minimum de modifications de code et sans solutions spécifiques au fournisseur. Neuron inclut un compilateur, un environnement d'exécution, des outils de profilage et des bibliothèques pour permettre l'entraînement à haute performance des modèles d'IA générative sur les instances Trn1 et l'inférence sur les instances Inf2. Neuron 2.13 introduit la bibliothèque AWS Neuron Reference for Nemo Megatron qui prend en charge la formation distribuée de LLM tels que Llama 2 et GPT-3 et ajoute la prise en charge de l'entraînement du modèle GPT-Neox avec la bibliothèque Neuron Distributed. Cette version ajoute une prise en charge optimisée de l'inférence LLM pour Llama 2 avec la bibliothèque Transformers Neuron et une prise en charge de l'inférence des modèles SDXL, Perceiver et CLIP à l'aide de PyTorch Neuron.
Vous pouvez utiliser le SDK AWS Neuron pour former et déployer des modèles sur les instances Trn1 et Inf2, qui sont disponibles dans les régions AWS suivantes sous forme d'instances à la demande, d'instances réservées et d'instances Spot, ou dans le cadre d'un plan d'épargne : USA Est (Virginie du Nord), USA Ouest (Oregon) et USA Est (Ohio).
Pour une liste complète des nouvelles fonctionnalités et améliorations de Neuron 2.13, consultez les notes de mise à jour de Neuron. Pour commencer à utiliser Neuron, consultez :