Publié le: Nov 29, 2022
Aujourd'hui, AWS publie la version préliminaire des instances Amazon Elastic Compute Cloud (Amazon EC2) Inf2, conçues pour offrir des performances élevées au coût le plus bas d'Amazon EC2 pour les applications d'inférence deep learning (DL) les plus exigeantes. Les instances Inf2 sont alimentées par un maximum de 12 modules AWS Inferentia2, le troisième accélérateur DL conçu par AWS. Les instances Inf2 offrent des performances de calcul trois fois supérieures, un débit jusqu'à quatre fois supérieur et une latence jusqu'à dix fois inférieure par rapport aux instances Inf1.
Vous pouvez utiliser les instances Inf2 pour exécuter vos applications DL pour la compréhension du langage naturel, la traduction, la génération de vidéos et d'images, la reconnaissance vocale, la personnalisation, etc. Elles sont optimisées pour déployer à grande échelle des modèles complexes, tels que les grands modèles de langage (LLM) et les transformateurs de vision, tout en améliorant les avantages prix/performance des instances Inf1 pour les modèles plus petits. Pour gérer les modèles ultra-larges comportant plus de 100 milliards de paramètres, les instances Inf2 sont les premières instances optimisées pour l'inférence dans Amazon EC2 à prendre en charge l'inférence distribuée à grande échelle avec une connectivité à ultra haut débit entre les accélérateurs.
Les instances Inf2 offrent jusqu'à 2,3 pétaflops de performances DL, jusqu'à 384 Go de mémoire accélératrice avec une bande passante de 9,8 To/s, et NeuronLink, une interconnexion intra-instance à très haut débit et non bloquante. Les instances Inf2 offrent également des performances par watt jusqu'à 50 % supérieures à celles des instances basées sur GPU dans Amazon EC2 et vous aident à atteindre vos objectifs de durabilité. Le kit SDK AWS Neuron est intégré nativement aux frameworks ML les plus populaires, notamment PyTorch et TensorFlow, de sorte que vous pouvez déployer vos applications DL sur Inf2 en seulement quelques lignes de code.
Pour en savoir plus et s'inscrire afin d'obtenir une version préliminaire des instances Inf2, consultez la page produit Inf2.