Kunden von AWS Trainium

Leistung und Skalierbarkeit sind nicht nur technische Anforderungen – sie sind unerlässlich, um dieses Ziel zu erreichen. Aus diesem Grund haben wir uns mit AWS als unserem wichtigsten Cloud-Anbieter zusammengetan, um Project Rainier zu entwickeln, einen der leistungsstärksten betriebsbereiten KI-Supercomputer der Welt. Mit fast einer Million Trainium2-Chips, die Claude heute trainieren und bedienen, freuen wir uns auf Trainium3 und gehen davon aus, dass wir Claude weiterhin weit über das hinaus skalieren werden, was wir mit Project Rainier entwickelt haben, und die Grenzen dessen, was in der KI möglich ist, erweitern werden.

James Bradbury, Leiter der Computerabteilung, Anthropic.

Unsere Partnerschaft mit AWS bietet uns beides. Trainium ermöglicht es unseren Kunden, ihre Nutzung von Poolside zu einem Preis-Leistungs-Verhältnis zu skalieren, das sich von dem anderer KI-Beschleuniger unterscheidet. Und die bevorstehende native Pytorch- und vLLM-Unterstützung von Trainium wird Trainium-Benutzern noch mehr Innovation und Flexibilität ermöglichen, auch am Pool. Vor allem die Kundenorientierung von AWS kommt zum Tragen, und AWS war in der Lage, unser Feedback schnell zu wiederholen und zu nutzen, um Trainium an unsere Bedürfnisse anzupassen. Wir freuen uns darauf, unsere Zusammenarbeit in allen Bereichen von Trainium zu vertiefen.

Joe Rowell Founding Engineer

Die einzigartige Architektur von Trainium – effiziente Speicherhierarchie und KI-Engines mit hohem Durchsatz – erwies sich als ideal für die Echtzeit-Videomodelle von Decart und ermöglicht die volle Auslastung der Hardware. Frühe Tests ergaben einen bis zu viermal höheren Frame-Durchsatz und eine zweimal bessere Kosteneffizienz im Vergleich zu Top-GPUs, wobei die Latenz von 40 ms auf 10 ms reduziert wurde. Diese Leistung ermöglicht eine dynamische und interaktive Live-Videogenerierung in großem Maßstab, was auf Standardhardware bisher unpraktisch war. Über Bedrock werden diese Funktionen bald direkt für AWS-Kunden zugänglich sein.

Dean Leitersdorf Co-founder und CEO
 

Durch die Einführung von AWS Trainium konnten wir unsere LLM-Trainingskosten um über 50 Prozent senken und gleichzeitig eine konsistente Infrastrukturverfügbarkeit aufrechterhalten. Dadurch wurde die Möglichkeit erschaffen, Japans genauestes Sprachmodell für die japanische Sprache zu erstellen und dabei das Budget deutlich zu unterschreiten. Die Stabilität der Infrastruktur hat auch zu unerwarteten Produktivitätssteigerungen geführt, sodass sich unser Team auf Innovationen konzentrieren kann, anstatt Probleme zu beheben.

Tomofumi Nakayama CPO

Im Jahr 2025 erreichte die KI-Community einen Wendepunkt: Über 10 Millionen KI-Entwickler nutzten und teilten Millionen offener Modelle und Datensätze über Hugging Face. Es ist heute wichtiger denn je, die Kosten für den Betrieb immer größerer und vielfältigerer offener Modelle zu senken, um sicherzustellen, dass KI allen und jeder Branche zugute kommt. Bei Hugging Face arbeiten wir seit der Verfügbarkeit der ersten Inferentia1-Instances Hand in Hand mit den Entwicklungsteams von AWS, um speziell entwickelte KI-Chips zu entwickeln. Deshalb freuen wir uns heute unglaublich über Trainium3, die nächste Generation von AWS-KI-Chips. Diese werden die anspruchsvollsten KI-Anwendungen unterstützen, die von MoE-LLMs über Agenten bis hin zu Modellen zur Videogenerierung reichen. Mit Optimum Neuron setzen wir uns dafür ein, die hohen Speicher- und Kosteneffizienzvorteile von Trainium 3 den Millionen von Benutzern von Transformers, Accelerate, Diffusers und TRL zugänglich zu machen, damit sie ihre eigene KI entwickeln können und dabei auch gleichzeitig ihre Kosten unter Kontrolle halten.

Die Vision von PyTorch ist einfach: Derselbe Code sollte überall auf jeder Hardwareplattform laufen. Die native Trainium-Unterstützung von AWS bietet Forschern, die schnell experimentieren und frei iterieren müssen, diese Hardwareauswahl. Mit der Einführung von AWS Trainium3 können PyTorch-Entwickler ihre Ideen mit höherer Leistung, niedrigerer Latenz und besserer Token-Wirtschaftlichkeit erforschen, entwickeln und bereitstellen, während sie gleichzeitig ihre vertrauten PyTorch-Workflows beibehalten und in dem Ökosystem bleiben, das sie bereits kennen.