Clients AWS Trainium

Les performances et la mise à l’échelle ne sont pas seulement des exigences techniques, elles sont essentielles à la réalisation de cette mission. C’est pourquoi nous nous sommes associés à AWS en tant que principal fournisseur de cloud pour créer Project Rainier, l’un des superordinateurs d’IA opérationnels les plus puissants au monde. Avec près d’un million de puces Trainium2 destinées à la formation et au service de Claude aujourd’hui, nous sommes enthousiasmés par Trainium3 et nous prévoyons de continuer à développer Claude bien au-delà de ce que nous avons construit avec Project Rainier, repoussant ainsi les limites du possible en matière d’IA.

James Bradbury, responsable informatique, Anthropic.

Notre partenariat avec AWS nous apporte les deux. Trainiu permet à nos clients d’étendre leur utilisation de Poolside à un rapport qualité/prix différent des autres accélérateurs d’IA. De plus, la prochaine prise en charge native de Pytorch et vLLM de Trainium apportera encore plus d’innovation et de flexibilité aux utilisateurs de Trainium, y compris poolside. L’orientation client d’AWS transparaît avant tout, et AWS a pu rapidement itérer et utiliser nos commentaires pour adapter Trainium à nos besoins. Nous sommes impatients d’approfondir notre collaboration sur tous les aspects de Trainium.

Joe Rowell, ingénieur fondateur

L’architecture unique de Trainium (hiérarchie de mémoire efficace et moteurs d’IA à haut débit) s’est révélée idéale pour les modèles vidéo en temps réel de Decart, permettant une utilisation complète du matériel. Les premiers tests ont révélé un débit d’images jusqu’à 4 fois plus élevé et une rentabilité 2 fois supérieure à celle des meilleurs GPU, avec une latence réduite de 40 ms à 10 ms. Ces performances permettent de générer des vidéos en direct, dynamiques et interactives à grande échelle, ce qui était auparavant impossible sur du matériel standard. Grâce à Bedrock, ces fonctionnalités seront bientôt directement accessibles aux clients AWS.

Dean Leitersdorf Cofondateur et PDG
 

En adoptant AWS Trainium, nous avons réduit nos coûts de formation LLM de plus de 50 % tout en maintenant une disponibilité constante de l’infrastructure. Cela nous a permis de créer le modèle de langue japonaise le plus précis du Japon tout en restant bien en deçà du budget. La stabilité de l’infrastructure a également entraîné des gains de productivité inattendus, permettant à notre équipe de se concentrer sur l’innovation plutôt que sur le dépannage.

Tomofumi Nakayama Directeur général

En 2025, la communauté de l’IA a atteint un point d’inflexion avec plus de 10 millions de créateurs d’IA utilisant et partageant des millions de modèles ouverts et de jeux de données sur Hugging Face. Il est aujourd’hui plus important que jamais de réduire les coûts liés à l’exploitation de modèles ouverts de plus en plus grands et diversifiés, afin de garantir que l’IA profite à tous et à tous les secteurs d’activité. Chez Hugging Face, nous travaillons main dans la main avec les équipes d’ingénierie d’AWS pour créer des puces d’IA spécialement conçues depuis la mise à disposition des premières instances Inferentia1. Aujourd’hui, nous sommes extrêmement enthousiasmés par Trainium3, la prochaine génération de puces d’IA AWS qui alimenteront les applications d’IA les plus exigeantes, des LLM MoE aux agents et aux modèles de génération vidéo. Avec Optimum Neuron, nous nous engageons à apporter les avantages de haute mémoire et de rentabilité de Trainium 3 aux millions d’utilisateurs de Transformers, Accelerate, Diffusers et TRL, afin qu’ils puissent créer leur propre IA tout en contrôlant leurs coûts.

La vision de PyTorch est simple : le même code doit s’exécuter partout sur n’importe quelle plate-forme matérielle. Le support Trainium natif d’AWS offre ce choix matériel aux chercheurs qui ont besoin d’expérimenter rapidement et d’itérer librement. Avec le lancement d’AWS Trainium3, les développeurs de PyTorch peuvent rechercher, développer et déployer leurs idées avec des performances plus élevées, une latence plus faible et une meilleure économie de jetons, tout en conservant leurs flux de travail PyTorch habituels et en restant dans l’écosystème qu’ils connaissent déjà.