Publié le: Apr 13, 2023
AWS annonce la disponibilité générale des instances Amazon Elastic Compute Cloud (Amazon EC2) Inf2. Ces instances offrent des performances élevées à moindre coût dans Amazon EC2 pour les modèles d'IA générative, notamment pour les grands modèles de langage (LLM) et les transformateurs de vision. Les instances Inf2 sont alimentées par un maximum de 12 puces AWS Inferentia2, le dernier accélérateur d'apprentissage en profondeur (DL) conçu par AWS. Elles offrent un débit jusqu'à quatre fois supérieur et une latence jusqu'à dix fois inférieure à celle des instances Amazon EC2 Inf1 de première génération.
Vous pouvez utiliser les instances Inf2 pour exécuter des applications courantes telles que la génération de codes, de vidéos et d'images, ou encore la synthèse de texte, la reconnaissance vocale, la personnalisation, etc. Les instances Inf2 optimisées dans Amazon EC2 sont les premières à intégrer une inférence distribuée évolutive prise en charge par NeuronLink, une interconnexion haut débit et non bloquante. Cela vous permet désormais de déployer avec efficacité des modèles comportant des centaines de milliards de paramètres sur plusieurs accélérateurs. Les instances Inf2 offrent jusqu'à trois fois plus de débit, jusqu'à huit fois moins de latence et un rendement jusqu'à 40 % plus avantageux que les autres instances Amazon EC2 comparables. Pour vous aider à atteindre vos objectifs de durabilité, les instances Inf2 offrent des performances par watt jusqu'à 50 % supérieures à celles d'autres instances Amazon EC2 comparables.
Les instances Inf2 offrent jusqu'à 2,3 pétaflops de performances DL (Deep Learning) et jusqu'à 384 Go de mémoire d'accélérateur totale avec une bande passante de 9,8 To/s. AWS Neuron SDK s'intègre en mode natif aux solutions de machine learning les plus utilisées, telles que PyTorch et TensorFlow. Vous pouvez donc continuer à utiliser vos flux de travail et votre code d'application existants pour déployer sur Inf2. Les développeurs peuvent commencer à utiliser des instances Inf2 à l'aide des AMI AWS Deep Learning, des conteneurs AWS Deep Learning ou des services gérés tels que Amazon Elastic Container Service (Amazon ECS), Amazon Elastic Kubernetes Service (Amazon EKS) et Amazon SageMaker.
Les instances Inf2 sont disponibles en quatre tailles : inf2.xlarge, inf2.8xlarge, inf2.24xlarge, inf2.48xlarge. Elles sont proposées sous forme d'instances à la demande, d'instances réservées et d'instances Spot, ou dans le cadre d'un plan d'épargne dans les régions AWS suivantes : USA Est (Virginie du Nord) et USA Est (Ohio).
Pour en savoir plus sur les instances Inf2, consultez la page Web Amazon EC2 Inf2 Instances et la documentation AWS Neuron.