Instances Inf1 d'Amazon EC2
Les entreprises de divers secteurs d'activité envisagent une transformation basée sur l'IA pour stimuler l'innovation commerciale et pour améliorer l'expérience client et les processus. Les modèles de Machine Learning qui alimentent les applications d'IA se complexifient, ce qui entraîne l'augmentation des coûts de l'infrastructure informatique sous-jacente. L'inférence représente souvent jusqu'à 90 % des dépenses d'infrastructure pour le développement et l'exécution d'applications ML. Les clients recherchent des solutions d'infrastructure rentables pour déployer leurs applications ML en production.
Les instances Inf1 d'Amazon EC2 offrent l'inférence ML haute performance la plus économique dans le cloud. Leur débit est jusqu'à 2,3 fois plus élevé et leur coût par inférence est jusqu'à 70 % inférieur à celui des instances Amazon EC2 comparables basées sur des GPU de génération actuelle. Les instances Inf1 sont créées de A à Z pour prendre en charge les applications d'inférence de machine learning. Elles comportent jusqu'à 16 puces AWS Inferentia ; il s'agit de puces d'inférence de Machine Learning haute performance conçues et fabriquées par AWS. En outre, elles sont dotées des processeurs Intel® Xeon® Scalable de 2e génération, et elles offrent une mise en réseau à un débit atteignant 100 Gbit/s pour une inférence haut débit.
Les clients qui utilisent les instances Inf1 peuvent exécuter, à moindre coût dans le cloud, des applications d'inférence de Machine Learning à grande échelle comme la recherche, les moteurs de recommandations, l'aide visuelle par ordinateur, la reconnaissance vocale, le traitement du langage naturel, la personnalisation et la détection des fraudes.
Les développeurs peuvent déployer leurs modèles de Machine Learning dans les instances Inf1 à l'aide du kit SDK AWS Neuron, qui est intégré dans les principaux frameworks de Machine Learning, tels que TensorFlow, PyTorch et MXNet. Ils peuvent continuer à utiliser les mêmes frameworks de ML qu'aujourd'hui et migrer les applications vers les instances Inf1 avec un minimum de modifications du code, sans être liés aux solutions d'un fournisseur.
Démarrez aisément avec des instances Inf1 à l'aide d'Amazon SageMaker, des AMI d'AWS Deep Learning préconfigurés avec le kit SDK Neuron ou en utilisant Amazon ECS ou Amazon EKS pour les applications ML conteneurisées.
Avantages
Jusqu'à 70 % de réduction du coût par inférence
Grâce à Inf1, les développeurs peuvent réduire considérablement le coût de leurs déploiements de production de Machine Learning, avec le coût par inférence le plus bas du cloud. La combinaison du faible coût d'instance et du débit élevé des instances Inf1 permet un coût par inférence jusqu'à 70 % inférieur à celui des instances EC2 comparables basées sur des GPU de génération actuelle.
Simplicité d'utilisation et portabilité du code
Le kit SDK Neuron est intégré aux frameworks de Machine Learning courants, tels que TensorFlow, PyTorch et MXNet. Les développeurs peuvent continuer à utiliser les mêmes workflows de ML et migrer de manière transparente leur application vers les instances Inf1 avec des modifications minimales du code. Ils sont ainsi libres d'utiliser le framework de Machine Learning de leur choix, la plateforme informatique qui répond le mieux à leurs besoins, et de tirer parti des dernières technologies sans être liés à des solutions spécifiques à un fournisseur.
Débit jusqu'à 2,3 fois plus important
Les instances Inf1 offrent un débit jusqu'à 2,3 fois supérieur à celui des instances Amazon EC2 comparables basées sur des GPU de génération actuelle. Les puces AWS Inferentia qui alimentent les instances Inf1 sont optimisées pour les performances d'inférence des lots de petite taille, ce qui permet aux applications en temps réel de maximiser le débit et de répondre aux exigences de latence.
Temps de latence extrêmement faible
Les puces AWS Inferentia sont dotées d'une vaste mémoire intégrée permettant la mise en cache des modèles de Machine Learning directement sur la puce. Vous pouvez déployer vos modèles à l'aide de fonctionnalités, telles que le pipeline NeuronCore, qui vous évitent de devoir accéder à des ressources mémoire externes. Avec les instances Inf1, vous pouvez déployer des applications d'inférence en temps réel à des latences proches du temps réel sans incidence sur la bande passante.
Prise en charge d'un large éventail de modèles de Machine Learning et de types de données
Les instances Inf1 prennent en charge de nombreuses architectures de modèles de Machine Learning couramment utilisées, telles que SSD, VGG et ResNext, pour la reconnaissance/classification des images, ainsi que Transformer et BERT pour le traitement du langage naturel. En outre, la prise en charge du référentiel de modèles HuggingFace dans Neuron offre aux clients la possibilité de compiler et d'exécuter aisément l'inférence en utilisant les modèles pré-entraînés, voire des modèles personnalisés, en modifiant une seule ligne de code. Les types de données notamment BF16 et FP16 de précision mixte prennent également en charge un large éventail de modèles et de besoins de performances.
Fonctionnalités
À technologie AWS Inferentia
AWS Inferentia est une puce d'inférence de machine learning conçue par AWS pour offrir des inférences haute performance à faible coût. Chaque puce AWS Inferentia offre des performances allant jusqu'à 128 TOPS (tera-opérations par seconde) et prend en charge les données FP16, BF16 et INT8. Les puces AWS Inferentia disposent également d'une grande mémoire qui peut être utilisée pour la mise en cache de modèles conséquents, ce qui est particulièrement avantageux pour les modèles qui nécessitent un accès fréquent à la mémoire.
Déploiement avec des frameworks ML courants associés à AWS Neuron
Le kit de développement logiciel (SDK) AWS Neuron comprend un compilateur, un pilote d'environnement d'exécution et des outils de profilage. Il permet de déployer des modèles de réseaux de neurones complexes, créés et formés dans des frameworks courants, tels que TensorFlow, PyTorch et MXNet, à l'aide des instances Inf1. Grâce au pipeline NeuronCore de Neuron, vous pouvez diviser de grands modèles à exécuter sur plusieurs puces Inferentia via une interconnexion physique haute vitesse, offrant un débit d'inférence élevé et des coûts réduits.
Mise en réseau et stockage hautes performances
Les instances Inf1 proposent jusqu'à 100 Gbits/s de débit réseau pour les applications nécessitant un accès à la mise en réseau à haut débit. L'adaptateur Elastic Network Adapter (ENA) et la technologie NVM Express (NVMe) de nouvelle génération fournissent des instances Inf1 avec des interfaces à faible latence et à débit élevé pour la mise en réseau et Amazon Elastic Block Store (Amazon EBS).
Basé sur le système AWS Nitro
Le système AWS Nitro est un ensemble étendu de composants qui décharge de nombreuses fonctions de virtualisation traditionnelles sur du matériel et des logiciels dédiés afin d'offrir des niveaux élevés de performances, de disponibilité et de sécurité, tout en réduisant les frais de virtualisation.
Fonctionnement

Témoignages de clients

Fondée en 2008, Airbnb, basée à San Francisco, est une place de marché communautaire comptant plus de 4 millions d'hôtes qui ont accueilli plus de 900 millions d'arrivées d'invités dans presque tous les pays du monde.
« La plateforme de support communautaire d'Airbnb permet de proposer des expériences de service intelligentes, évolutives et exceptionnelles à notre communauté de millions d'hôtes et d'invités dans le monde. Nous recherchons constamment des moyens d'améliorer les performances de nos modèles de traitement du langage naturel que nos applications de chatbot de soutien utilisent. Avec les instances Inf1 Amazon EC2 à technologie AWS Inferentia , nous doublons immédiatement le débit par rapport aux instances basées sur les GPU pour nos modèles BERT basés sur PyTorch. Nous sommes impatients d'utiliser des instances Inf1 pour d'autres modèles et cas d'utilisation à l'avenir. »
Bo Zeng, responsable de l'ingénierie chez AirBnB

« Nous intégrons le machine learning (ML) dans de nombreux aspects de Snapchat, et l'exploration de l'innovation dans ce domaine est une priorité essentielle. Dès que nous avons entendu parler d'Inferentia, nous avons commencé à collaborer avec AWS pour adopter des instances Inf1/Inferentia afin de nous aider dans le déploiement du ML, notamment en termes de performance et de coût. Nous avons commencé par nos modèles de recommandation, et nous sommes impatients d'adopter d'autres modèles avec les instances Inf1 à l'avenir. »
Nima Khajehnouri, VP Engineering chez Snap Inc.

« La plateforme de gestion unifiée de l'expérience client (Unified-CXM) de Sprinklr, basée sur l'IA, permet aux entreprises de recueillir et de traduire les commentaires des clients en temps réel sur plusieurs canaux en informations exploitables, ce qui se traduit par une résolution proactive des problèmes, un développement de produits plus performant, un marketing de contenu plus efficace, un meilleur service client, etc. Grâce aux instance Inf1 Amazon EC2, nous avons pu améliorer de manière significative les performances de l'un de nos modèles de traitement du langage naturel (NLP), ainsi que les performances de l'un de nos modèles de reconnaissance d'image. Nous sommes impatients de continuer à utiliser les instances Inf1 Amazon EC2, afin de mieux servir nos clients internationaux. »
Vasant Srinivasan, VP principal de Product Engineering chez Sprinklr

« Notre produit de traitement du langage naturel (NLP) ultramoderne, Finch for Text, permet aux utilisateurs d'extraire, de désambiguïser et d'enrichir de nombreux types d'entités dans d'importants volumes de texte. Finch for Text nécessite des ressources informatiques considérables pour fournir à nos clients des enrichissements à faible latence sur les flux de données mondiaux. Nous utilisons désormais les instances Inf1 Amazon dans nos modèles PyTorch NLP, de traduction ainsi que de désambiguïsation d'entités. Nous avons pu réduire de plus de 80 %nos coûts d'inférence (sur les instances basées sur le GPU) avec des optimisations minimales, tout en maintenant la vitesse et les performances des inférences. Grâce à cette amélioration permet, nos clients peuvent enrichir leur texte en français, en espagnol, en allemand et en néerlandais en temps réel sur des flux de streaming de données à l'échelle mondiale, une capacité essentielle pour nos services financiers, notre agrégateur de données et nos clients du secteur public. »
Scott Lightner, directeur technique (CTO) – Finch Computing

« Autodesk utilise Inferentia pour faire progresser la technologie cognitive d'Autodesk Virtual Agent (AVA), son assistant virtuel à technologie IA. AVA répond à plus de 100 000 questions de clients par mois en appliquant la compréhension du langage naturel (NLU) et des techniques de deep learning pour extraire le contexte, l'intention et la signification des demandes de renseignements. En pilotant Inferentia, nous sommes en mesure d'obtenir un débit 4,9 fois plus élevé que G4dn pour nos modèles NLU, et nous sommes impatients d'exécuter plus d'applications sur les instances Inf1 basées sur Inferentia."
Binghui Ouyang, responsable scientifique des données chez Autodesk
Service Amazon utilisant les instances Inf1 Amazon EC2

Amazon Advertising aide les entreprises de toutes tailles à entrer en contact avec leurs clients à chaque étape de leur processus d'achat. Des millions d'annonces, y compris du texte et des images, sont modérées, classées et diffusées pour une expérience client optimale chaque jour.
« Pour le traitement de nos annonces textuelles, nous déployons des modèles BERT basés sur PyTorch dans le monde entier sur des instances Inf1 basées sur AWS Inferentia. En passant des GPU à Inferentia, nous avons pu réduire nos coûts de 69 % en maintenant des performances comparables. La compilation et les tests de nos modèles pour AWS Inferentia ont duré moins de trois semaines. L'utilisation d'Amazon SageMaker pour déployer nos modèles sur des instances Inf1 a garanti que notre déploiement était évolutif et facile à gérer. Lorsque j'ai analysé pour la première fois les modèles compilés, les performances avec AWS Inferentia étaient si impressionnantes que j'ai dû exécuter à nouveau les tests de performance pour m'assurer qu'ils étaient corrects ! À l'avenir, nous prévoyons de migrer nos modèles de traitement d'annonces illustrées vers Inferentia. Nous avons déjà évalué une latence inférieure de 30 % et des économies de coûts de 71 % par rapport à des instances comparables basées sur GPU pour ces modèles. »
Yashal Kanungo, spécialiste en sciences appliquées, Amazon Advertising

« L'intelligence basée sur l'IA et le ML d'Amazon Alexa, à technologie Amazon Web Services, est désormais disponible sur plus de 100 millions d'appareils. Nous nous sommes engagés à rendre Alexa encore plus intelligent, plus communicatif, plus proactif et encore plus convivial. Pour tenir cette promesse, nous devons continuer à réduire les temps de réponse et les coûts d'infrastructure de machine learning. Nous sommes donc extrêmement impatients d'utiliser les instances Inf1 Amazon EC2 pour réduire la latence d'inférence et le coût par inférence de la synthèse vocale Alexa. Avec Amazon EC2 Inf1, nous pourrons perfectionner le service rendu aux dizaines de millions de clients qui utilisent Alexa chaque mois. »
Tom Taylor, vice-président senior, Amazon Alexa
« Nous innovons sans cesse pour améliorer davantage notre expérience client et réduire nos coûts d'infrastructure. Déplacer nos applications WBQA (réponse aux questions basée sur le web) des instances P3 GPU vers des instances Inf1 basées sur AWS Inferentia nous a non seulement permis de réduire de 60 % les coûts d'inférence, mais aussi d'accroître de plus de 40 % la latence de bout en bout, améliorant ainsi l'expérience client en termes de questions-réponses avec Alexa. L'utilisation d'Amazon SageMaker pour notre modèle basé sur Tensorflow a permis de rendre le processus de commutation vers les instances Inf1 rapide et simple à gérer. Nous utilisons désormais les instances Inf1 à travers le monde pour exécuter les charges de travail WBQA, et nous optimisons leurs performances pour AWS Inferentia afin de réduire davantage les coûts et la latence. »
Eric Lind, ingénieur de développement logiciel, Alexa AI

« Amazon Prime Video s'appuie sur les modèles ML de vision par ordinateur pour analyser la qualité vidéo des événements en direct afin de garantir une expérience utilisateur optimale pour les membres de Prime Video. Nous avons déployé nos modèles ML de classification d'images sur les instances EC2 Inf1 et avons pu noter un quadruplement des performances et jusqu'à 40 % d'économies de coûts. Nous entendons maintenant utiliser ces économies de coûts pour innover et créer des modèles avancés capables de détecter des défauts plus complexes, par exemple les lacunes de synchronisation entre les fichiers audio et les fichiers vidéo, afin d'améliorer davantage l'expérience de visionnement pour les membres Prime Video. »

« Amazon Rekognition est une application simple et facile d'analyse d'images et de vidéos qui aide les clients à identifier des objets, des personnes, du texte et des activités. Amazon Rekognition nécessite une infrastructure de deep learning hautement performante, capable d'analyser quotidiennement des milliards d'images et de vidéos pour nos clients. Avec les instances Inf1 basées sur AWS Inferentia, l'exécution de modèles de Rekognition tels que la classification d'objets, a permis de réduire de 8 fois la latence et de 2 fois le débit par rapport à l'exécution de ces modèles sur les GPU. Compte tenu de ces résultats, nous basculons Rekognition vers Inf1, ce qui permettra à nos clients d'obtenir des résultats précis, plus rapidement. »
Tarification
*Prix pour la région AWS USA Est (Virginie du Nord). Les tarifs pour 1 an et 3 ans des instances réservées correspondent aux options de paiement « Frais initiaux partiels » ou « Aucuns frais initiaux » pour les instances sans l'option Frais initiaux partiels.
Les instances Inf1 d'Amazon EC2 sont disponibles dans les régions AWS USA Est (Virginie du Nord) et USA Ouest (Oregon) sous la forme d'instances sur demande, réservées ou Spot.
Mise en route
Utilisation d'Amazon SageMaker
Amazon SageMaker facilite la compilation et le déploiement de votre modèle de machine learning entraîné en production sur des instances Amazon Inf1, afin que vous puissiez commencer à générer des prévisions en temps réel avec une faible latence. AWS Neuron, le compilateur pour AWS Inferentia, est intégré à Amazon SageMaker Neo, ce qui vous permet de compiler vos modèles de machine learning pour un fonctionnement optimal sur les instances Inf1. Votre modèle s'exécutera sur des clusters à scalabilité automatique d'instances Inf1 d'Amazon SageMaker réparties entre plusieurs zones de disponibilité pour offrir de hautes performances et une disponibilité élevée. Apprenez à déployer vers des instances Inf1 avec Amazon SageMaker à l'aide d'exemples sur Github.
Utilisation des AMI AWS Deep Learning
Les AMI AWS Deep Learning (DLAMI) fournissent aux chercheurs et aux professionnels du machine learning l'infrastructure et les outils nécessaires pour accélérer le machine learning dans le cloud, à n'importe quelle échelle. Le kit SDK d'AWS Neuron est préinstallé dans les AMI AWS Deep Learning, ce qui vous permet de compiler et d'exécuter vos modèles de machine learning de façon optimale sur les instances Inf1. Pour vous aider tout au long du processus de démarrage, vous pouvez consulter le guide de sélection des AMI ainsi que d'autres ressources de deep learning. Pour apprendre à utiliser les DLAMI avec Neuron, reportez-vous au guide de mise en route d'AWS DLAMI.
Utilisation de conteneurs AWS Deep Learning
Les développeurs peuvent désormais déployer des instances Inf1 dans Amazon Elastic Kubernetes Service (EKS), qui est un service Kubernetes entièrement géré, et dans Amazon Elastic Container Service (ECS), qui est un service d'orchestration de conteneur entièrement géré d'Amazon. En savoir plus sur la mise en route d'Inf1 sur Amazon EKS ou avec Amazon ECS. Plus de détails sur l'exécution de conteneurs sur des instances Inf1 sont disponibles sur la page du tutoriel des outils de conteneur Neuron. Neuron est également disponible préinstallé dans les AWS DL Containers.
Blogs et articles
Une infrastructure de machine learning performante et abordable accélère l'innovation dans le cloud.
par le MIT Technology Review Insights, 01/11/2021
par Davide Galliteli et Hasan Poonawala, 19/10/2021
Le machine learning dans le cloud aide les entreprises à innover
par le MIT Technology Review Insights, 15/10/2021
par Alex Iankoulski, Joshua Correa, Mahadevan Balasubramaniam, et Sundar Ranganatha, 30/09/2021
Fabio Nonato de Paula et Mahadevan Balasubramaniam, 04/05/2021
Amazon ECS prend désormais en charge les instances EC2 Inf1
par Julien Simon, 14/08/2020
Sébastien Stormacq, 12/11/2020
Amazon ECS présent désormais en charge les instances EC2 Inf1
par Julien Simon, 14/08/2020
Fabio Nonato De Paula et Haichen Li, 22-07-2020
Amazon EKS prend désormais en charge les instances Inf1 EC2
Julien Simon, 15/06/2020
Ressources supplémentaires
- Apprenez à déployer vers des instances Inf1 à l'aide d'Amazon SageMaker avec des exemples Amazon SageMaker sur Github
- Mise en route de AWS Neuron
- Caractéristiques de la feuille de route d'AWS Neuron
- Utiliser AWS Neuron depuis TensorFlow, PyTorch ou MXNet
- Consultez le forum des développeurs AWS Neuron pour obtenir de l'aide