Amazon Elastic Inference

Ajoutez une accélération GPU à toute instance Amazon EC2 pour une inférence plus rapide à un coût bien moindre (économies pouvant atteindre 75 %)

Amazon Elastic Inference vous permet de relier une accélération à faible coût basée sur GPU aux instances Amazon EC2 et Amazon SageMaker afin de réduire le coût d'exécution de l'inférence deep learning jusqu'à 75 %. Amazon Elastic Inference prend en charge les modèles TensorFlow, Apache MXNet et ONNX, avec d'autres frameworks à venir.

Dans la plupart des applications deep learning, l'établissement de prévisions à l'aide d'un modèle expérimenté (un processus appelé inférence) peut générer jusqu'à 90 % des coûts de calcul de l'application en raison de deux facteurs. Tout d'abord, les instances de GPU autonomes sont conçues pour la formation de modèles et sont généralement surdimensionnées pour l'inférence. Tandis que les tâches d'apprentissage traitent par lots des centaines d'échantillons de données en parallèle, la plupart des inférences se produisent sur une seule entrée en temps réel qui ne consomme qu'une petite quantité de calculs GPU. Même en période de pointe, la capacité de calcul d'un GPU peut ne pas être pleinement utilisée, ce qui est inutilement coûteux. Deuxièmement, différents modèles nécessitent différentes quantités de ressources de processeur graphique, de processeur et de mémoire. La sélection d'un type d'instance GPU suffisamment volumineux pour répondre aux exigences de la ressource la moins utilisée entraîne souvent une sous-utilisation des autres ressources et des coûts élevés.

Amazon Elastic Inference résout ces problèmes en vous permettant de joindre la quantité appropriée d’accélération d’inférence alimentée par GPU à tout type d’instance EC2 ou SageMaker sans modification de code. Avec Amazon Elastic Inference, vous pouvez désormais choisir le type d'instance le mieux adapté aux besoins globaux de votre application en matière de processeur et de mémoire, puis configurer séparément la quantité d'accélération d'inférence dont vous avez besoin pour utiliser efficacement les ressources et réduire les coûts d'exécution d’inférence.

Présentation d’Amazon Elastic Inference

Avantages

Réduction des couts d’inférences allant jusqu’à 75 %

Amazon Elastic Inference vous permet de choisir le type d'instance le mieux adapté aux besoins généraux de calcul et de mémoire de votre application. Vous pouvez ensuite spécifier séparément la quantité d'accélération d'inférence dont vous avez besoin. Cela réduit les coûts d'inférence jusqu'à 75 %, car vous n'avez plus besoin de sur-approvisionner le calcul GPU pour l'inférence.

Obtenez précisément ce dont vous avez besoin

Amazon Elastic Inference peut fournir une accélération d'inférence TFLOPS à aussi peu qu’une seule précision (des trillions d'opérations en virgule flottante par seconde) ou jusqu'à 32 TFLOPS à précision mixte. Il s'agit d'une plage de calculs d'inférence bien plus appropriée que la plage allant jusqu'à 1 000 TFLOPS fournie par une instance autonome Amazon EC2 P3. Par exemple, un modèle de traitement de langage simple peut ne nécessiter qu'un seul TFLOPS pour bien exécuter l'inférence, alors qu'un modèle de vision informatique sophistiqué peut nécessiter jusqu'à 32 TFLOPS.

Répondez aux changements de demande

Vous pouvez facilement augmenter et réduire la quantité d'accélération d'inférence à l'aide des groupes Auto Scaling Amazon EC2 afin de répondre aux demandes de votre application sans allouer une capacité excessive. Lorsque EC2 Auto Scaling augmente le nombre d'instances EC2 afin de répondre à la demande croissante, il accélère automatiquement l'accélérateur connecté pour chaque instance. De même, lorsqu'il réduit vos instances EC2 à mesure que la demande diminue, il accélère automatiquement l'accélérateur connecté pour chaque instance. Cela vous aide à ne payer que ce dont vous avez besoin quand vous en avez besoin.

Prise en charge de frameworks populaires

Amazon Elastic Inference prend en charge les modèles TensorFlow et Apache MXNet, avec des frameworks supplémentaires à venir.

tensorflow_logo_200px
mxnet_150x50
Blog : Amazon Elastic Inference – Accélération d’inférence propulsée par GPU
28 novembre 2018
 
Product-Page_Standard-Icons_01_Product-Features_SqInk
Contrôlez les fonctions du produit

En savoir plus sur les fonctionnalités d’Amazon Elastic Inference

En savoir plus 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Créer gratuitement un compte

Obtenez un accès instantané à l'offre gratuite d'AWS. 

S'inscrire 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Commencez à créer sur la console

Premiers pas avec Amazon Elastic Inference sur Amazon SageMaker ou Amazon EC2.

Se connecter