AWS Inferentia
Les accélérateurs AWS Inferentia sont conçus par AWS pour offrir de hautes performances à moindre coût pour vos applications d'inférence de deep learning (DL).
L'accélérateur AWS Inferentia de première génération alimente les instances Inf1 Amazon Elastic Compute Cloud (Amazon EC2), ce qui offre un débit jusqu'à 2,3 fois plus élevé et un coût par inférence jusqu'à 70 % plus bas par rapport à celui des instances Amazon EC2 comparables basées sur des GPU. De nombreux clients, dont Airbnb, Snap, Sprinklr, Money Forward et Amazon Alexa, ont adopté les instances Inf1 et réalisé ses avantages en termes de performances et de coûts.
L'accélérateur AWS Inferentia2 constitue une avancée majeure en matière de performances et de capacités par rapport aux processeurs AWS Inferentia de première génération. Inferentia2 offre un débit jusqu'à 4 fois plus élevé et une latence jusqu'à 10 fois plus basse par rapport à Inferentia. Les instances Inf2 Amazon EC2 basées sur Inferentia2 sont conçues pour offrir de hautes performances à moindre coût dans Amazon EC2 pour vos applications d'inférence de DL. Ils sont optimisés pour déployer à l'échelle des modèles de plus en plus complexes, tels que les grands modèles de langage (LLM) et les transformateurs de vision. Les instances Inf2 sont les premières instances optimisées pour l'inférence dans Amazon EC2 à prendre en charge l'inférence distribuée à grande échelle avec une connectivité à ultra haute vitesse entre les accélérateurs. Désormais, vous pouvez déployer efficacement un modèle de paramètres 175B pour l'inférence à travers plusieurs accélérateurs sur une seule instance Inf2. Les instances Inf2 offrent une meilleure performance en termes de prix que celles Inf1 pour les petits modèles.
AWS Neuron est le SDK qui aide les développeurs à déployer des modèles sur les deux accélérateurs AWS Inferentia et à exécuter vos applications d'inférence pour le traitement/la compréhension du langage naturel, la traduction des langues, la génération de vidéos et d'images, la reconnaissance vocale, la personnalisation, la détection des fraudes, etc. Il s'intègre nativement avec les frameworks de machine learning (ML) les plus utilisés, tels que PyTorch et TensorFlow, de sorte que vous pouvez continuer à utiliser vos flux de travail existants et à les exécuter sur les accélérateurs Inferentia avec seulement quelques lignes de code.
Avantages
Hautes performances et débit
Chaque accélérateur Inferentia de première génération comporte quatre NeuronCores de première génération, avec un maximum de 16 accélérateurs Inferentia par instance Inf1 EC2. Chaque accélérateur Inferentia2 dispose de deux NeuronCores de deuxième génération, avec un maximum de 12 accélérateurs Inferentia2 par instance Inf2 EC2. Inferentia2 offre un débit jusqu'à 4 fois supérieur et des performances de calcul 3 fois supérieures à celles d'Inferentia. Chaque accélérateur Inferentia2 supporte jusqu'à 190 tera opérations flottantes par seconde (teraFLOPS) de performance FP16.
Faible latence avec une mémoire à large bande passante
L'Inferentia de première génération possède 8 Go de mémoire DDR4 par accélérateur et dispose également d'une grande quantité de mémoire sur puce. Inferentia2 offre 32 Go de HBM2e par accélérateur, ce qui augmente la mémoire totale de 4 fois et la bande passante mémoire de 10 fois par rapport à Inferentia.
Prise en charge native des frameworks de ML
AWS Neuron SDK s'intègre nativement aux frameworks ML les plus utilisés, tels que PyTorch et TensorFlow. Avec AWS Neuron, vous pouvez utiliser ces frameworks pour déployer de manière optimale des modèles de DL sur les deux accélérateurs AWS Inferentia avec des modifications minimales du code et sans lien avec des solutions spécifiques aux fournisseurs.
Large éventail de types de données avec conversion automatique
Inferentia de première génération prend en charge les types de données FP16, BF16 et INT8. Inferentia2 ajoute un support supplémentaire pour FP32, TF32, et le nouveau type de données configurable FP8 (cFP8) pour fournir aux développeurs plus de flexibilité afin d'optimiser la performance et la précision. AWS Neuron prend des modèles FP32 de haute précision et les convertit automatiquement en types de données de moindre précision, tout en optimisant la précision et les performances. La conversion automatique réduit les délais de mise sur le marché en supprimant le besoin de nouvel apprentissage en basse précision.
Capacités de deep learning de pointe
Inferentia2 ajoute des optimisations matérielles pour les formats d'entrée dynamiques et des opérateurs personnalisés écrits en C++. Il prend également en charge l'arrondi stochastique, un mode d'arrondi par probabilités qui permet d'obtenir des performances élevées et une plus grande précision par rapport aux modes d'arrondi traditionnels.
Conçu pour la durabilité
Les instances Inf2 offrent des performances par watt jusqu'à 45 % supérieures à celles des instances basées sur les GPU dans Amazon EC2, car elles et les accélérateurs Inferentia2 sous-jacents sont spécialement conçus pour exécuter des modèles DL à l'échelle. Les instances Inf2 vous aident à atteindre vos objectifs de durabilité lors du déploiement de modèles ultra-larges.
Kit SDK AWS Neuron
AWS Neuron est le kit SDK qui aide les développeurs à déployer des modèles sur les deux accélérateurs AWS Inferentia et à les former sur l'accélérateur AWS Trainium. Il s'intègre nativement avec les frameworks de ML les plus utilisés, tels que PyTorch et TensorFlow, ainsi vous pouvez continuer à utiliser vos flux de travail existants et à les exécuter sur les accélérateurs Inferentia avec seulement quelques lignes de code.
AWS Trainium
AWS Trainium est un accélérateur de formation DL conçu par AWS qui offre une formation DL performante et rentable sur AWS. Les instances Trn1 Amazon EC2, alimentées par AWS Trainium, offrent les meilleures performances en matière de formation de DL de modèles de traitement du langage naturel (NLP) utilisés sur AWS. Les instances Trn1 permettent d'économiser jusqu'à 50 % du coût de la formation par rapport à des instances comparables basées sur les GPU.
Témoignages de clients
Qualtrics crée et développe des logiciels de gestion de l'expérience.
« Chez Qualtrics, notre objectif est de créer une technologie qui comble les manques d'expérience pour les clients, les employés, les marques ainsi que les produits. Pour y parvenir, nous développons des modèles complexes de deep learning multi-tâches et multimodaux pour lancer de nouvelles fonctions, telles que la classification de textes, le marquage de séquences, l'analyse de discours, l'extraction de phrases clés et de sujets, la mise en cluster et la compréhension de conversations de bout en bout. Au fur et à mesure que nous utilisons ces modèles plus complexes dans un plus grand nombre d'applications, le volume de données non structurées augmente, et nous avons besoin de solutions optimisées pour l'inférence plus performantes qui peuvent répondre à ces demandes, telles que les instances Inf2, pour offrir les meilleures expériences possible à nos clients. Nous sommes ravis des nouvelles instances Inf2, car elles nous permettront non seulement d'atteindre des débits plus élevés, tout en réduisant considérablement la latence, mais elles introduisent également des fonctions telles que l'inférence distribuée et la prise en charge améliorée de la forme dynamique des entrées, qui nous aideront à évoluer pour répondre aux besoins de déploiement à mesure que nous nous dirigeons vers des modèles de plus en plus grands et complexes. »
Aaron Colak, Responsable Machine Learning principal, Qualtrics
Finch Computing est une entreprise de technologie du langage naturel qui fournit des applications d'intelligence artificielle aux gouvernements, aux services financiers et aux intégrateurs de données.
« Pour répondre aux besoins de nos clients en matière de traitement du langage naturel en temps réel, nous développons des modèles de deep learning de pointe qui s'adaptent aux importantes charges de travail de production. Nous devons fournir des transactions à faible latence et atteindre des débits élevés pour traiter les flux de données internationaux. Nous avons déjà migré de nombreuses charges de travail de production vers des instances Inf1 et obtenu une réduction de 80 % du coût par rapport aux GPU. Aujourd'hui, nous développons des modèles plus importants et plus complexes qui permettent de développer un sens plus profond et plus pertinent à partir d'un texte écrit. Nombreux sont nos clients qui doivent avoir accès à ces informations en temps réel et les performances des instances Inf2 nous aideront à réduire la latence et à augmenter le débit en comparaison aux instances Inf1. Grâce aux améliorations des performances Inf2 et aux nouvelles fonctions Inf2, telles que la prise en charge des formats d'entrée dynamiques, nous améliorons notre rentabilité, augmentons l'expérience client en temps réel et aidons nos clients à tirer de nouvelles conclusions de leurs données. »
Franz Weckesser, Architecte principal, Finch Computing
Fondée en 2008, Airbnb, basée à San Francisco, est une place de marché communautaire comptant plus de 4 millions d'hôtes qui ont accueilli plus de 900 millions d'arrivées d'invités dans presque tous les pays du monde.
« La plateforme de support communautaire d'Airbnb permet de proposer des expériences de service intelligentes, évolutives et exceptionnelles à notre communauté de millions d'hôtes et d'invités dans le monde. Nous recherchons constamment des moyens d'améliorer les performances de nos modèles de traitement du langage naturel que nos applications de chatbot de soutien utilisent. Avec les instances Inf1 Amazon EC2 à technologie AWS Inferentia , nous doublons immédiatement le débit par rapport aux instances basées sur les GPU pour nos modèles BERT basés sur PyTorch. Nous sommes impatients d'utiliser des instances Inf1 pour d'autres modèles et cas d'utilisation à l'avenir. »
Bo Zeng, responsable de l'ingénierie chez AirBnB
« Nous intégrons le machine learning (ML) dans de nombreux aspects de Snapchat, et l'exploration de l'innovation dans ce domaine est une priorité essentielle. Dès que nous avons entendu parler d'Inferentia, nous avons commencé à collaborer avec AWS pour adopter des instances Inf1/Inferentia afin de nous aider dans le déploiement du ML, notamment en termes de performance et de coût. Nous avons commencé par nos modèles de recommandation, et sommes impatients d'adopter d'autres modèles avec les instances Inf1 à l'avenir. »
Nima Khajehnouri, vice-président responsable de l'ingénierie, Snap Inc.
« La plateforme de gestion unifiée de l'expérience client (Unified-CXM) de Sprinklr, basée sur l'IA, permet aux entreprises de recueillir et de traduire les commentaires des clients en temps réel sur plusieurs canaux en informations exploitables, ce qui se traduit par une résolution proactive des problèmes, un développement de produits plus performant, un marketing de contenu plus efficace, un meilleur service client, etc. Grâce aux instance Inf1 Amazon EC2, nous avons pu améliorer de manière significative les performances de l'un de nos modèles de traitement du langage naturel (NLP), ainsi que les performances de l'un de nos modèles de reconnaissance d'image. Nous sommes impatients de continuer à utiliser les instances Inf1 Amazon EC2, afin de mieux servir nos clients internationaux. »
Vasant Srinivasan, vice-président principal responsable de l'ingénierie des produits, Sprinklr
« "Autodesk fait progresser la technologie cognitive de son assistant virtuel optimisé par l'IA, Autodesk Virtual Agent (AVA), en utilisant Inferentia. AVA répond à plus de 100 000 questions de clients par mois en appliquant la compréhension du langage naturel (NLU) et des techniques de deep learning pour extraire le contexte, l'intention et la signification des demandes de renseignements. En pilotant Inferentia, nous sommes en mesure d'obtenir un débit 4,9 fois plus élevé que G4dn pour nos modèles NLU, et nous sommes impatients d'exécuter plus de charge de travail sur les instances Inf1 basées sur Inferentia. »
Binghui Ouyang, spécialiste des données principal, Autodesk
« L'utilisation de Ground Penetrating Radar et de la fonctionnalité de détection des défauts visuels fait généralement partie du domaine des géomètres experts. L'architecture basée sur les microservices AWS nous permet de traiter les vidéos prises par les véhicules d'inspection automatisée ainsi que par les inspecteurs. La migration de nos modèles internes des instances basées sur GPU traditionnelles vers Inferentia nous a permis de réduire les coûts à hauteur de 50 %. De plus, nous avons pu noter des gains de performances en comparant les temps de traitement avec ceux des instances GPU G4dn. Notre équipe a hâte d'exécuter davantage de charges de travail sur les instances Inf1 basées sur Inferentia. »
Jesús Hormigo, responsable du cloud et de l'IA, Screening Eagle Technologies
NTTPC Communications est un fournisseur de services de réseau et de solutions de communication au Japon. Il s'agit d'une société de télécommunications leader dans l'introduction de nouveaux produits innovants sur le marché des technologies de l'information et de la communication.
« NTTPC a développé « AnyMotion », un service de plateforme d'API d'analyse du mouvement basé sur des modèles avancés de machine learning d'estimation de la posture. NTTPC a déployé sa plateforme AnyMotion sur des instances Inf1 Amazon EC2 en utilisant Amazon Elastic Container Service (ECS) pour un service d'orchestration de conteneurs entièrement géré. En déployant ses conteneurs AnyMotion sur Amazon EC2 Inf1, NTTPC a multiplié par 4,5 le débit, réduit de 25 % la latence d'inférence et diminué de 90 % le coût par rapport à la génération actuelle d'instances EC2 basées sur des GPU. Ces meilleures performances permettront d'améliorer la qualité du service AnyMotion à grande échelle. »
Toshiki Yanagisawa, ingénieur logiciel chez NTT PC Communications Incorporated
Anthem est l'une des principales sociétés de prestations de soins de santé du pays, répondant aux besoins en soins de santé de plus de 40 millions de membres dans des dizaines d'États.
« Le marché des plateformes numériques de santé croît à un rythme remarquable. Recueillir des informations sur ce marché est une tâche difficile en raison de la grande quantité de données sur les opinions des clients et de sa nature non structurée. Notre application automatise la génération d'informations exploitables à partir des opinions des clients via des modèles de langage naturel de machine learning (Transformateurs). Notre application recours intensivement au calcul et doit être déployée de manière très performante. Nous avons déployé de manière transparente notre charge de travail d'inférence de machine learning sur des instances Inf1 d'Amazon EC2 optimisées par le processeur AWS Inferentia. Les nouvelles instances Inf1 offrent un débit deux fois plus élevé que celui des instances basées sur les GPU et nous ont permis de rationaliser nos charges de travail d'inférence. »
Numan Laanait, PhD, IA principal/spécialiste des données chez Anthem
Miro Mihaylov, Ph.D., spécialiste principal de l'IA/des données chez Anthem
« Le portefeuille mondial de Condé Nast détient plus de 20 grandes marques médiatiques, dont Wired, Vogue et Vanity Fair. En quelques semaines, notre équipe a réussi à intégrer notre moteur de recommandation aux puces d’AWS Inferentia. Cette alliance permet de multiples optimisations pour l'exécution de modèles de langue naturels de dernière génération sur les instances Inf1 de SageMaker. En conséquence, nous avons réduit les coûts de 72 % par rapport aux instances GPU précédemment déployées. »
Paul Fryzel, ingénieur principal, responsable de l'infrastructure IA chez Condé Nast
« Ciao fait évoluer les caméras de sécurité conventionnelles et en fait des caméras d’analyse haute performance, dont les capacités équivalent à celles de l’œil humain. Notre application permet d’améliorer la prévention des catastrophes, puisqu’elle offre un suivi des conditions environnementales grâce à des solutions de caméras IA basées sur le Cloud qui lancent un signal d’alerte avant qu’une situation ne dégénère jusqu’à devenir une catastrophe. Ces alertes permettent de réagir avant qu’il ne soit trop tard. En nous basant sur la détection d’objet, nous pouvons également fournir des informations en estimant, sans impliquer le personnel, le nombre de clients qui entrent, à partir de vidéos dans des magasins physiques. Sur le plan commercial, Ciao Camera a adopté des instances Inf1 basées sur AWS Inferentia, qui offrent un rapport qualité/prix 40 % plus intéressant que G4dn avec YOLOv4. Nous nous réjouissons de pouvoir proposer davantage de services avec les instances Inf1 en tirant parti de leur grande rentabilité. »
Shinji Matsumoto, ingénieur logiciel, Ciao Inc.
« L'Asahi Shimbun est l'un des quotidiens les plus populaires du Japon. Media Lab, qui s'est établi comme l'un des départements de notre entreprise, a pour missions d'étudier les dernières technologies, en particulier l'IA, ainsi que de relier les technologies de pointe pour les nouvelles entreprises. Suite au lancement des instances Amazon EC2 Inf1, basées sur AWS Inferentia, à Tokyo, nous avons testé notre application d'IA de synthèse de texte, basée sur PyTorch, sur ces instances. Cette application traite une quantité importante de texte et génère des titres ainsi que des phrases de résumé inspirées d'articles de ces 30 dernières années. À l'aide d'Inferentia, nous avons considérablement réduit les coûts liés aux instances basées sur les processeurs. Cette réduction spectaculaire des coûts nous permettra de déployer nos modèles les plus complexes à grande échelle, ce qui, selon nous, n'était pas économiquement faisable ».
Dr Hideaki Tamori, administrateur principal chez Media Lab et The Asahi Shimbun Company
« CS Disco réinvente les technologies juridiques en tant que principal fournisseur de solutions d'IA pour la découverte électronique, développées par des avocats, pour les avocats. Disco AI permet d’accélérer cette tâche ingrate qui consiste à passer au crible des téraoctets de données, réduisant les délais d’examen pour une meilleure précision. Elle tire parti de modèles complexes de traitement du langage naturel, dont le calcul et le coût sont prohibitifs. Disco a découvert que les instances Inf1 basées sur AWS Inferentia permettaient de réduire les coûts d'inférence dans Disco AI d'au moins 35 % par rapport aux instances GPU actuelles. Sur la base de cette expérience positive avec les instances Inf1, CS Disco va explorer les possibilités de migration vers Inferentia. »
Alan Lockett, directeur principal de la recherche chez CS Disco
« Chez Talroo, nous offrons à nos clients une plateforme guidée par les données qui leur permet d'attirer et de recruter des candidats uniques. Nous recherchons sans cesse de nouvelles technologies pour nous assurer que nous offrons les meilleurs produits et services à nos clients. À l'aide d'Inferentia, nous extrayons des informations à partir d'un corpus de données de texte, afin d'améliorer notre technologie de recherche et de correspondance alimentée par l'IA. Talroo tire parti des instances Amazon EC2 Inf1 afin de créer des modèles de compréhension du langage naturel à haut débit avec SageMaker. Les premiers essais réalisés par Talroo montrent que les instances Amazon EC2 Inf1 offrent une latence d'inférence 40 % inférieure et un débit deux fois supérieur par rapport aux instances GPU G4dn. Sur la base de ces résultats, Talroo est impatient d'utiliser les instances Inf1 Amazon EC2 dans le cadre de son infrastructure AWS. »
Janet Hu, ingénieure logiciel chez Talroo
« Digital Media Professionals (DMP) visualise l'avenir avec une plateforme ZIA™ basée sur l'IA (intelligence artificielle). Les technologies efficaces de classification par vision par ordinateur de DMP sont utilisées pour obtenir des informations sur une grande quantité de données d'image en temps réel, telles que l'observation des conditions, la prévention du crime et la prévention des accidents. Nous avons constaté que nos modèles de segmentation d'images s'exécutent quatre fois plus vite sur les instances Inf1 basées sur AWS Inferentia que sur les instances G4 basées sur GPU. Grâce à ce débit plus élevé et à ce coût plus faible, Inferentia nous permet de déployer à grande échelle nos charges de travail d'IA, telles que les applications pour les caméras embarquées de voiture à grande échelle. »
Hiroyuki Umeda, directeur et directeur général responsable des ventes et du marketing, Group chez Digital Media Professionals
Hotpot.ai X permet aux non concepteurs de créer des graphiques attrayants et aide les concepteurs professionnels à automatiser les tâches routinières.
« Le machine learning étant au cœur de notre stratégie, nous étions ravis d'essayer les instances Inf1 AWS Inferentia. Nous avons trouvé les instances Inf1 faciles à intégrer dans notre pipeline de recherche et développement. Mais surtout, nous avons observé des gains de performance impressionnants par rapport aux instances basées sur le GPU G4dn. Avec notre premier modèle, les instances Inf1 ont permis d'augmenter le débit d'environ 45 % et de réduire le coût par inférence de près de 50 %. Nous avons l'intention de travailler en étroite collaboration avec l'équipe AWS pour porter d'autres modèles et transférer la majeure partie de notre infrastructure d'inférence ML vers AWS Inferentia. »
Clarence Hu, fondateur de Hotpot.ai
« SkyWatch traite des centaines de milliards de pixels de données d'observation de la Terre qui sont capturées quotidiennement dans l'espace. L'adoption des nouvelles instance Inf1 AWS Inferentia qui utilisent Amazon SageMaker pour la détection des nuages et la notation de la qualité des images en temps réel a été simple et rapide. Il nous a suffi de modifier le type d'instance dans notre configuration de déploiement. En passant aux instances Inferentia Inf1, nous avons amélioré les performances de 40 % et réduit les coûts de 23 %. C'est un véritable exploit. Nous avons pu réduire les coûts opérationnels tout en continuant à fournir des images satellite d'excellente qualité à nos clients, le tout sans coûts d'ingénierie exorbitants. Nous sommes impatients d'effectuer la transition de tous nos points de terminaison d'inférence et de nos processus de ML par lots pour utiliser les instances Inf1, afin d'améliorer encore la fiabilité de nos données et l'expérience client. »
Adler Santos, Responsable de l’ingénierie, SkyWatch
Money Forward, Inc. sert les entreprises et particuliers au moyen d'une plateforme financière ouverte et juste. Au sein de cette plateforme, HiTTO Inc., une société du groupe Money Forward, propose un service de discussion par IA qui utilise des modèles NLP sur mesure pour répondre aux besoins divers des clients d'entreprise.
« La migration de notre service de discussion par IA vers les instances Inf1 d'Amazon EC2 a été on ne peut plus simple. Nous avons procédé à la migration en 2 mois et avons lancé un service à grande échelle sur les instances Inf1 à l'aide d'Amazon Elastic Container Service (ECS). Nous avons pu réduire notre latence d'inférence de 97 % et nos coûts d'inférence de plus de 50 % (par rapport à des instances semblables basées sur GPU) en hébergeant plusieurs modèles par instance Inf1. Nous avons hâte d'exécuter davantage de charges de travail sur les instances Inf1 basées sur Inferentia. »
Kento Adachi, responsable technique, bureau du directeur technique – Money Forward, Inc.
Services Amazon utilisant AWS Inferentia
Amazon Advertising aide les entreprises de toutes tailles à entrer en contact avec leurs clients à chaque étape de leur processus d'achat. Des millions d'annonces, y compris du texte et des images, sont modérées, classées et diffusées pour une expérience client optimale chaque jour.
« Pour le traitement de nos annonces textuelles, nous déployons des modèles BERT basés sur PyTorch dans le monde entier sur des instances Inf1 basées sur AWS Inferentia. En passant des GPU à Inferentia, nous avons pu réduire nos coûts de 69 % en maintenant des performances comparables. La compilation et les tests de nos modèles pour AWS Inferentia ont duré moins de trois semaines. L'utilisation d'Amazon SageMaker pour déployer nos modèles sur des instances Inf1 a garanti que notre déploiement était évolutif et facile à gérer. Lorsque j'ai analysé pour la première fois les modèles compilés, les performances avec AWS Inferentia étaient si impressionnantes que j'ai dû exécuter à nouveau les tests de performance pour m'assurer qu'ils étaient corrects ! À l'avenir, nous prévoyons de migrer nos modèles de traitement d'annonces illustrées vers Inferentia. Nous avons déjà évalué une latence inférieure de 30 % et des économies de coûts de 71 % par rapport à des instances comparables basées sur GPU pour ces modèles. »
Yashal Kanungo, spécialiste en sciences appliquées, Amazon Advertising
« L'intelligence basée sur l'IA et le ML d'Amazon Alexa, à technologie Amazon Web Services, est désormais disponible sur plus de 100 millions d'appareils. Nous nous sommes engagés à rendre Alexa encore plus intelligent, plus communicatif, plus proactif et encore plus convivial. Pour tenir cette promesse, nous devons continuer à réduire les temps de réponse et les coûts d'infrastructure de machine learning. Nous sommes donc extrêmement impatients d'utiliser les instances Inf1 Amazon EC2 pour réduire la latence d'inférence et le coût par inférence de la synthèse vocale Alexa. Avec Amazon EC2 Inf1, nous pourrons perfectionner le service rendu aux dizaines de millions de clients qui utilisent Alexa chaque mois. »
Tom Taylor, vice-président senior, Amazon Alexa
« Nous innovons sans cesse pour améliorer davantage notre expérience client et réduire nos coûts d'infrastructure. Déplacer nos applications WBQA (réponse aux questions basée sur le web) des instances P3 GPU vers des instances Inf1 basées sur AWS Inferentia nous a non seulement permis de réduire de 60 % les coûts d'inférence, mais aussi d'accroître de plus de 40 % la latence de bout en bout, améliorant ainsi l'expérience client en termes de questions-réponses avec Alexa. L'utilisation d'Amazon SageMaker pour notre modèle basé sur Tensorflow a permis de rendre le processus de commutation vers les instances Inf1 rapide et simple à gérer. Nous utilisons désormais les instances Inf1 à travers le monde pour exécuter les charges de travail WBQA, et nous optimisons leurs performances pour AWS Inferentia afin de réduire davantage les coûts et la latence. »
Eric Lind, ingénieur de développement logiciel, Alexa AI
« Amazon Prime Video s'appuie sur les modèles ML de vision par ordinateur pour analyser la qualité vidéo des événements en direct afin de garantir une expérience utilisateur optimale pour les membres de Prime Video. Nous avons déployé nos modèles ML de classification d'images sur les instances EC2 Inf1 et avons pu noter un quadruplement des performances et jusqu'à 40 % d'économies de coûts. Nous entendons maintenant utiliser ces économies de coûts pour innover et créer des modèles avancés capables de détecter des défauts plus complexes, par exemple les lacunes de synchronisation entre les fichiers audio et les fichiers vidéo, afin d'améliorer davantage l'expérience de visionnement pour les membres Prime Video. »
« Amazon Rekognition est une application simple et facile d'analyse d'images et de vidéos qui aide les clients à identifier des objets, des personnes, du texte et des activités. Amazon Rekognition nécessite une infrastructure de deep learning hautement performante, capable d'analyser quotidiennement des milliards d'images et de vidéos pour nos clients. Avec les instances Inf1 basées sur AWS Inferentia, l'exécution de modèles de Rekognition tels que la classification d'objets, a permis de réduire de 8 fois la latence et de 2 fois le débit par rapport à l'exécution de ces modèles sur les GPU. Compte tenu de ces résultats, nous basculons Rekognition vers Inf1, ce qui permettra à nos clients d'obtenir des résultats précis, plus rapidement. »
Articles et blogs
Patrick Moorhead, 13 mai 2020
James Hamilton, 28 novembre 2018
Vidéos
Ressources
- Apprenez à déployer vers des instances Inf1 à l'aide d'Amazon SageMaker avec des exemples Amazon SageMaker sur Github
- Mise en route avec AWS Neuron
- Caractéristiques de la feuille de route d'AWS Neuron
- Utiliser AWS Neuron depuis TensorFlow, PyTorch ou MXNet
- Consultez le forum des développeurs AWS Neuron afin d'obtenir de l'aide
Démarrage avec le machine learning dans la console AWS.