Publié le: Oct 10, 2022
AWS annonce la disponibilité générale des instances Amazon Elastic Compute Cloud (Amazon EC2) Trn1. Les instances Amazon EC2 Trn1 fonctionnent sur des puces AWS Trainium, spécialement conçues pour les applications d'apprentissage machine learning haute performance dans le cloud. Les instances Trn1 présentent un fonctionnement optimal pour l'apprentissage deep learning des principaux modèles de traitement du langage naturel (NLP) sur AWS, tout en permettant de réaliser jusqu'à 50 % d'économies par rapport aux instances EC2 comparables basées sur des GPU. Pour commencer à utiliser des instances Trn1, partez de frameworks machine learning populaires comme PyTorch et TensorFlow. Cela vous aidera à réduire vos coûts et temps de formation, à développer plus vite des modèles innovants par itérations successives et à augmenter votre productivité. Les instances EC2 Trn1 vous permettent d'effectuer l'apprentissage de modèles de traitement du langage naturel (NLP), de vision par ordinateur et de recommandation pour un large éventail d'applications : reconnaissance vocale, recommandation, détection de la fraude, classification d'images et de vidéos, prévision, etc.
Les instances Trn1 comportent jusqu'à 16 puces AWS Trainium, des puces machine learning de deuxième génération construites par AWS après AWS Inferentia. Les instances Trn1 sont les premières instances EC2 disposant d'une bande passante réseau Elastic Fabric Adapter (EFA) pouvant atteindre 800 Gbit/s. Pour un parallélisme efficace des données et des modèles, chaque instance Trn1 possède 512 Go de mémoire à large bande passante, fournit jusqu'à 3,4 pétaFLOPS de puissance de calcul FP16/BF16 et dispose de NeuronLink, une interconnexion non bloquante à large bande passante intra-instance. Pour prendre en charge les modèles deep learning à grande échelle, les instances Trn1 sont déployées dans des UltraClusters EC2. Vous pourrez utiliser les UltraClusters pour ajouter jusqu'à 30 000 accélérateurs Trainium, interconnectés avec un réseau non bloquant à l'échelle du pétabit. Vous obtiendrez un accès à la demande à un superordinateur d'une puissance de calcul de 6,3 exaFLOPS. Les instances Trn1 prévoient une prise en charge native d'un large éventail de types de données, notamment le nouveau FP8 configurable, les formes d'entrée dynamiques, le flux de contrôle, les opérateurs personnalisés C++ et l'arrondi stochastique. Le kit SDK AWS Neuron donne accès à ces fonctionnalités avancées et y ajoute la prise en charge de la compilation juste-à-temps (JAT) et du mode de débogage rapide. AWS Neuron est compatible avec les principaux frameworks et bibliothèques machine learning (notamment PyTorch, TensorFlow, Megatron-LM, Hugging Face et PyTorch FSDP). Ainsi, vous pouvez continuer à utiliser vos frameworks existants et exécuter votre application en modifiant le moins de code possible.
Les développeurs peuvent exécuter des charges de travail d'apprentissage deep learning sur des instances Trn1 à l'aide des AMI AWS Deep Learning, des conteneurs AWS Deep Learning ou de services gérés comme Amazon Elastic Container Service (Amazon ECS) et AWS ParallelCluster. La prise en charge d'Amazon Elastic Kubernetes Service (Amazon EKS), d'Amazon SageMaker et d'AWS Batch arrivera prochainement.
Les instances Amazon EC2 Trn1 sont disponibles en deux formats : trn1.2xlarge, pour expérimenter avec un seul accélérateur et effectuer un apprentissage efficace de petits modèles, et trn1.32xlarge pour entraîner des modèles à grande échelle. Elles sont proposées sous la forme d'instances à la demande, d'instances réservées et d'instances Spot ou dans le cadre d'un Savings Plan dans les Régions AWS suivantes : USA Est (Virginie du Nord) et USA Ouest (Oregon).
Pour en savoir plus sur les instances Trn1, consultez Instances Amazon EC2 Trn1.