AWS Inferentia

AWS Inferentia est une puce d’inférence de machine learning conçue pour offrir des performances élevées à faible coût. AWS Inferentia prendra en charge les frameworks de deep learning TensorFlow, Apache MXNet et PyTorch, ainsi que les modèles utilisant le format ONNX.

L'établissement de prévisions à l'aide d'un modèle machine learning formé (un processus appelé l’inférence) peut générer jusqu'à 90 % des coûts de calcul de l'application en raison de deux facteurs. À l'aide d'Amazon Elastic Inference, les développeurs peuvent réduire les coûts d'inférence jusqu'à 75 % en associant une accélération d'inférence alimentée par le GPU aux instances Amazon EC2 et Amazon SageMaker. Cependant, certaines charges de travail d'inférence nécessitent un GPU entier ou ont des exigences de latence extrêmement faibles. La résolution de ce problème à faible coût nécessite une puce d'inférence dédiée.

AWS Inferentia fournit des performances d'inférence à haut débit et à faible temps de latence à un coût extrêmement bas. Chaque puce fournit des centaines de débits d'inférence TOPS (tera opérations par seconde) pour permettre aux modèles complexes de faire des prédictions rapides. Pour encore plus de performances, plusieurs puces AWS Inferentia peuvent être utilisées ensemble pour générer des débits de milliers de TOPS. L’utilisation d’AWS Inferentia sera disponible avec Amazon SageMaker, Amazon EC2 et Amazon Elastic Inference.

Inscrivez-vous pour obtenir des notification de disponibilité de service

Pour être informé de la disponibilité d'AWS Inferentia, inscrivez-vous ici et nous vous enverrons un e-mail lorsque de plus amples informations seront disponibles.