AWS Inferentia

Obtenez de hautes performances à moindre coût dans Amazon EC2 pour deep learning et les inférences d’IA générative

Pourquoi choisir Inferentia ?

Les puces AWS Inferentia sont conçues par AWS dans le but d’offrir des performances élevées au coût le plus bas, dans Amazon EC2, pour vos applications de deep learning (DL) et d’inférence d’IA générative. 

La puce AWS Inferentia de première génération alimente les instances Inf1 d’Amazon Elastic Compute Cloud (Amazon EC2), qui offrent un débit de 2,3 fois supérieur et un coût par inférence de 70 % inférieur à celui des instances Amazon EC2 comparables. De nombreux clients, dont Finch AI, Sprinklr, Money Forward et Amazon Alexa, ont adopté les instances Inf1 et réalisé ses avantages en matière de performances et de coûts.

La puce AWS Inferentia2 offre un débit jusqu’à 4 fois supérieur et une latence jusqu’à 10 fois inférieure à celle d’Inferentia. Les instances Amazon EC2 Inf2 basées sur Inferentia2 sont optimisées pour déployer des modèles de plus en plus complexes, tels que des grands modèles de langage (LLM) et des modèles de diffusion latente, à grande échelle. Les instances Inf2 sont les premières instances optimisées de l’inférence dans Amazon EC2 qui prennent en charge l’inférence distribuée à grande échelle avec une connectivité ultra-rapide entre les puces. De nombreux clients, dont Leonardo.ai, Deutsche Telekom et Qualtrics, ont adopté des instances Inf2 pour leurs applications de DL et d’IA générative. 

AWS Neuron SDK permet aux développeurs de déployer des modèles sur les puces AWS Inferentia (et de les entraîner sur les puces AWS Trainium). Il s’intègre nativement avec les cadres les plus utilisés, tels que PyTorch et TensorFlow, de sorte que vous pouvez continuer à utiliser vos flux de travail existants et à les exécuter sur les accélérateurs Inferentia.

Video Player is loading.
Current Time 0:00
Duration 47:16
Loaded: 0.00%
Stream Type LIVE
Remaining Time 47:16
 
1x
    • Chapters
    • descriptions off, selected

      Avantages d’AWS Inferentia

      Vidéos

      Découvrez les coulisses de l'infrastructure d'IA générative d'Amazon
      Présentation des instances Amazon EC2 Inf2 optimisées par AWS Inferentia2
      Comment quatre clients AWS ont réduit leurs coûts de machine learning et ont stimulé l'innovation grâce à AWS Inferentia