Publié le: Oct 27, 2023
AWS Neuron est le SDK pour les instances basées sur Amazon EC2 Inferentia et Trainium, spécialement conçu pour l'IA générative. Aujourd'hui, avec la sortie de Neuron 2.15, nous annonçons la prise en charge de l'entraînement du modèle Llama-2 70b ainsi que de la prise en charge de PyTorch 2.0.
Neuron s'intègre aux frameworks ML populaires tels que PyTorch et TensorFlow, ce qui vous permet de démarrer avec un minimum de modifications de code et sans solutions spécifiques au fournisseur. Neuron inclut un compilateur, un environnement d'exécution, des outils de profilage et des bibliothèques pour permettre l'entraînement à haute performance des modèles d'IA générative sur les instances Trn1 et l'inférence sur les instances Inf2. Cette version ajoute la prise en charge de l'entraînement au modèle Llama-2 70b avec la bibliothèque Neuron Distributed et ajoute la prise en charge de la version bêta pour PyTorch 2.0.
Vous pouvez utiliser le SDK AWS Neuron pour former et déployer des modèles sur les instances Trn1 et Inf2, qui sont disponibles dans les régions AWS suivantes sous forme d'instances à la demande, d'instances réservées et d'instances Spot, ou dans le cadre d'un plan d'épargne : USA Est (Virginie du Nord), USA Ouest (Oregon) et USA Est (Ohio).
Pour une liste complète des nouvelles fonctionnalités et améliorations de Neuron 2.15, consultez les notes de mise à jour de Neuron. Pour commencer à utiliser Neuron, consultez :