Warum Amazon-EC2-Trn2-Instances und -UltraServer?
Amazon-EC2-Trn2-Instances, die auf 16 AWS-Trainium2-Chips basieren, wurden speziell für generative KI entwickelt und sind die leistungsstärksten EC2-Instances für das Training und die Bereitstellung von Modellen mit Hunderten von Milliarden bis über Billionen Parametern. Trn2-Instances bieten ein um 30–40 % besseres Preis-Leistungs-Verhältnis als die aktuelle Generation von GPU-basierten EC2-P5e- und P5en-Instances. Mit Trn2-Instances erhalten Sie modernste Trainings- und Inferenzleistung und senken gleichzeitig die Kosten, sodass Sie die Trainingszeiten reduzieren, schneller iterieren und KI-gestützte Erlebnisse in Echtzeit bereitstellen können. Sie können Trn2-Instances verwenden, um Modelle wie große Sprachmodelle (LLMs), multimodale Modelle und Diffusionstransformer zu trainieren und bereitzustellen, um generative KI-Anwendungen der nächsten Generation zu erstellen.
Zum Verkürzen der Trainingszeiten und zum Erzielen von bahnbrechenden Reaktionszeiten (Latenz pro Token) für die anspruchsvollsten Modelle auf dem neuesten Stand der Technik benötigen Sie möglicherweise mehr Rechenleistung und Arbeitsspeicher, als eine einzelne Instance bereitstellen kann. Trn2-UltraServer verwenden NeuronLink, unsere firmeneigene Chip-zu-Chip-Verbindung, um 64 Trainium2-Chips über 4 Trn2-Instances zu verbinden. Dadurch wird die in einem einzelnen Knoten verfügbare Rechen-, Speicher- und Netzwerkbandbreite vervierfacht und eine bahnbrechende Leistung in AWS für Deep-Learning- und generative KI-Workloads geboten. UltraServer bieten branchenweit führende Reaktionszeiten und ermöglichen so beste Echtzeit-Erlebnisse. Beim Training steigern UltraServer die Geschwindigkeit und Effizienz des Modelltrainings durch eine schnellere kollektive Kommunikation für Modellparallelität im Vergleich zu eigenständigen Instances.
Mit nativer Unterstützung für beliebte Frameworks von Machine Learning (ML) wie PyTorch und JAX können Sie problemlos mit Trn2-Instances und Trn2-UltraServern beginnen.
Vorteile
Funktionen
Empfehlungen von Kunden und Partnern
Hier sind einige Beispiele dafür, wie Kunden und Partner planen, ihre Geschäftsziele mit Amazon-EC2-Trn2-Instances zu erreichen.
-
Anthropic
Bei Anthropic verlassen sich Millionen von Menschen täglich bei ihrer Arbeit auf Claude. Wir kündigen zwei wichtige Fortschritte bei AWS an: Erstens einen neuen „latenzoptimierten Modus“ für Claude 3.5 Haiku, der auf Trainium2 über Amazon Bedrock 60 % schneller läuft. Und zweitens Project Rainier – ein neuer Cluster mit Hunderttausenden von Trainium2-Chips, die Hunderte von Exaflops liefern, was über dem Fünffachen der Größe unseres vorherigen Clusters entspricht. Projekt Rainier wird dazu beitragen, sowohl unsere Forschung als auch unsere nächste Generation der Skalierung voranzutreiben. Für unsere Kunden bedeutet das mehr Intelligenz, niedrigere Preise und höhere Geschwindigkeiten. Wir entwickeln nicht nur schnellere KI, wir entwickeln vertrauenswürdige KI, die skalierbar ist.
Tom Brown, Chief Compute Officer bei Anthropic -
Databricks
Die Mosaic AI von Databricks ermöglicht es Unternehmen, hochwertige Agentensysteme zu entwickeln und einzusetzen. Es basiert nativ auf dem Data Lakehouse und ermöglicht es Kunden, ihre Modelle einfach und sicher an Unternehmensdaten anzupassen und genauere und domainspezifische Ergebnisse zu liefern. Dank der hohen Leistung und Wirtschaftlichkeit von Trainium können Kunden Modelltraining auf Mosaic AI zu niedrigen Kosten skalieren. Die Verfügbarkeit von Trainium2 wird für Databricks und seine Kunden ein großer Vorteil sein, da die Nachfrage nach Mosaic AI in allen Kundensegmenten und auf der ganzen Welt weiter steigt. Databricks, eines der größten Daten- und KI-Unternehmen der Welt, plant, TRN2 zu nutzen, um bessere Ergebnisse zu erzielen und die Gesamtbetriebskosten für seine Kunden um bis zu 30 % zu senken.
Naveen Rao, VP of Generative AI bei Databricks -
poolside
Wir bei Poolside wollen eine Welt schaffen, in der KI den Großteil der wirtschaftlich wertvollen Arbeit und des wissenschaftlichen Fortschritts bestimmt. Wir glauben, dass Softwareentwicklung die erste wichtige Fähigkeit in neuronalen Netzwerken sein wird, die Intelligenz auf menschlicher Ebene erreicht, da wir Such- und Lernansätze in diesem Bereich am besten kombinieren können. Wir entwickeln Basismodelle, eine API und einen Assistenten, um die Leistungsfähigkeit generativer KI in die Hände (oder die Tastatur) Ihrer Entwickler zu bringen, um dies zu ermöglichen. Ein wichtiger Schlüssel zum Ermöglichen dieser Technologie ist die Infrastruktur, die wir für die Entwicklung und den Betrieb unserer Produkte verwenden. Mit AWS Trainium2 können unsere Kunden ihre Nutzung von Poolside zu einem Preis-Leistungs-Verhältnis skalieren, das sich von dem anderer KI-Beschleuniger unterscheidet. Darüber hinaus planen wir, zukünftige Modelle mit Trainium2-UltraServern zu trainieren, was zu erwartenden Einsparungen von 40 % im Vergleich zu EC2-P5-Instances führen wird.
Eiso Kant, CTO und Co-Founder, Poolside -
Itaú Unibanco
Das Ziel von Itaú Unibanco ist es, das Verhältnis der Menschen zu Geld zu verbessern, positive Auswirkungen auf ihr Leben zu haben und gleichzeitig ihre Transformationsmöglichkeiten zu erweitern. Wir bei Itaú Unibanco glauben, dass jeder Kunde einzigartig ist, und wir konzentrieren uns darauf, seine Bedürfnisse durch intuitive digitale Reisen zu erfüllen, die die Leistungsfähigkeit der KI nutzen, um sich ständig an ihre Verbrauchergewohnheiten anzupassen.
Wir haben AWS Trainium und Inferentia bei verschiedenen Aufgaben getestet, die von Standardinferenzen bis hin zu optimierten Anwendungen reichten. Die Leistung dieser KI-Chips hat es uns ermöglicht, wichtige Meilensteine in unserer Forschung und Entwicklung zu erreichen. Sowohl bei Batch- als auch bei Online-Inferenzaufgaben haben wir im Vergleich zu GPUs eine 7-fache Verbesserung des Durchsatzes festgestellt. Diese verbesserte Leistung treibt die Ausweitung von mehr Anwendungsfällen im gesamten Unternehmen voran. Die neueste Generation von Trainium2-Chips ermöglicht bahnbrechende Features für GenKI und öffnet die Tür für Innovationen bei Itaú.
Vitor Azeka, Head of Data Science bei Itaú Unibanco -
NinjaTech AI
Ninja ist ein umfassender KI-Agent für grenzenlose Produktivität: ein einfaches Abonnement, unbegrenzter Zugriff auf die weltbesten KI-Modelle sowie erstklassige KI-Fähigkeiten wie: Schreiben, programmieren, Brainstorming, Bilderzeugung, Online-Recherche. Ninja ist eine agentenbasierte Plattform und bietet den „SuperAgent“, der eine Agentenmischung mit einer erstklassigen Genauigkeit verwendet, die mit Frontier-Basismodellen vergleichbar ist (und in einigen Kategorien sogar übertrifft). Die Agententechnologie von Ninja erfordert die leistungsstärksten Beschleuniger, um die einzigartigen Echtzeiterlebnisse zu bieten, die unsere Kunden erwarten.
Wir freuen uns sehr über die Einführung von AWS TRN2, da wir glauben, dass es die besten Kosten pro Token und die schnellste Geschwindigkeit bietet, die derzeit für unser Kernmodell Ninja LLM möglich ist, das auf Llama 3.1 405B basiert. Die niedrige Latenz von Trn2 in Verbindung mit wettbewerbsfähigen Preisen und On-Demand-Verfügbarkeit ist erstaunlich. Wir freuen uns über die Ankunft von Trn2!
Babak Pahlavan, Founder & CEO, NinjaTech AI -
Ricoh
Das RICOH-Team für Machine Learning entwickelt Arbeitsplatzlösungen und digitale Transformationsservices zur Verwaltung und Optimierung des Informationsflusses in unseren Unternehmenslösungen.
Die Migration zu Trn1-Instances war einfach und unkompliziert. Wir konnten unser LLM mit 13B-Parametern in nur 8 Tagen vortrainieren, wobei wir einen Cluster von 4 096 Trainium-Chips verwendeten! Nach dem Erfolg, den wir mit unserem kleineren Modell gesehen haben, haben wir ein neues, größeres LLM auf Basis von Llama-3-Swallow-70B optimiert. Mithilfe von Trainium konnten wir unsere Trainingskosten um 50 % senken und die Energieeffizienz im Vergleich zur Verwendung der neuesten GPU-Maschinen in AWS um 25 % verbessern. Wir freuen uns, die neueste Generation von AWS-KI-Chips, Trainium2, zu nutzen, um unseren Kunden weiterhin die beste Leistung zu den niedrigsten Kosten zu bieten.
Yoshiaki Umetsu, Director, Digital Technology Development Center, Ricoh -
PyTorch
Was mir an der AWS-Neuron-NxD-Inference-Bibliothek am besten gefallen hat, ist die nahtlose Integration in PyTorch-Modelle. Der Ansatz von NxD ist einfach und benutzerfreundlich. Unser Team war in der Lage, HuggingFace-PyTorch-Modelle mit minimalen Codeänderungen in einem kurzen Zeitrahmen zu integrieren. Die Aktivierung erweiterter Features wie Continuous Batching und Speculative Decoding war unkompliziert. Diese Benutzerfreundlichkeit erhöht die Produktivität der Entwickler und ermöglicht es den Teams, sich mehr auf Innovationen und weniger auf Integrationsprobleme zu konzentrieren.
Hamid Shojanazeri, PyTorch Partner Engineering Lead, Meta -
Refact.ai
Refact.ai bietet umfassende KI-Tools wie die automatische Codevervollständigung auf Basis von Retrieval Augmented Generation (RAG), die genauere Vorschläge liefert, und einen kontextsensitiven Chat, der sowohl proprietäre als auch Open-Source-Modelle verwendet.
Kunden haben bei EC2-Inf2-Instances im Vergleich zu EC2-G5-Instances eine bis zu 20 % höhere Leistung und 1,5-mal höhere Tokens pro Dollar festgestellt. Die Optimierungsfunktionen von Refact.ai verbessern die Fähigkeit unserer Kunden, die einzigartige Codebasis und Umgebung ihrer Organisationen zu verstehen und sich an sie anzupassen. Wir freuen uns auch, die Funktionen von Trainium2 anbieten zu können, die unsere Workflows noch schneller und effizienter verarbeiten werden. Diese fortschrittliche Technologie wird es unseren Kunden ermöglichen, ihren Softwareentwicklungsprozess zu beschleunigen, indem sie die Produktivität der Entwickler steigert und gleichzeitig strenge Sicherheitsstandards für ihre Codebasis einhält.
Oleg Klimov CEO & Founder, Refact.ai -
Karakuri Inc.
KARAKURI entwickelt KI-Tools, um die Effizienz des webbasierten Kundensupports zu verbessern und das Kundenerlebnis zu vereinfachen. Zu diesen Tools gehören KI-Chatbots, die mit Funktionen der generativen KI ausgestattet sind, Tools zur Zentralisierung von häufig gestellten Fragen und ein E-Mail-Antwort-Tool, die alle die Effizienz und Qualität des Kundensupports verbessern. Mithilfe von AWS Trainium ist es uns gelungen, KARAKURI LM 8x7B Chat v0.1 zu trainieren. Für Startups wie uns müssen wir die Entwicklungszeit und die Kosten für das Training von LLMs optimieren. Mit der Unterstützung von AWS Trainium und dem AWS-Team konnten wir in kurzer Zeit ein LLM auf praktischem Niveau entwickeln. Durch die Einführung von AWS Inferentia waren wir außerdem in der Lage, einen schnellen und kostengünstigen Inferenzservice aufzubauen. Wir sind begeistert von Trainium2, weil es unseren Trainingsprozess revolutionieren wird, unsere Trainingszeit um das Zweifache reduzieren und die Effizienz auf ein neues Niveau bringen wird!
Tomofumi Nakayama, Co-Founder, Karakuri Inc. -
Stockmark Inc.
Mit dem Ziel, „den Mechanismus der Wertschöpfung neu zu erfinden und die Menschheit voranzubringen“, unterstützt Stockmark viele Unternehmen bei der Gründung und dem Aufbau innovativer Unternehmen, indem es modernste Technologie zur Verarbeitung natürlicher Sprache bereitstellt. Stockmarks neuer Datenanalyse- und -erfassungsservice namens Anews and SAT, ein Datenstrukturierungsservice, der die Nutzung generativer KI erheblich verbessert, indem er alle in einer Organisation gespeicherten Informationen organisiert, erforderte von uns ein Umdenken bei der Erstellung und Bereitstellung von Modellen zur Unterstützung dieser Produkte. Mit 256 Trainium-Beschleunigern haben wir Stockmark-13b entwickelt und veröffentlicht, ein großes Sprachmodell mit 13 Milliarden Parametern, das auf einem japanischen Korpusdatensatz von 220B-Token von Grund auf neu trainiert wurde. Trn1-Instances haben uns geholfen, unsere Trainingskosten um 20 % zu senken. Mithilfe von Trainium haben wir erfolgreich ein LLM entwickelt, das geschäftskritische Fragen für Fachleute mit beispielloser Genauigkeit und Geschwindigkeit beantworten kann. Diese Leistung ist besonders bemerkenswert angesichts der großen Herausforderung, vor der Unternehmen stehen, angemessene Rechenressourcen für die Modellentwicklung zu sichern. Angesichts der beeindruckenden Geschwindigkeit und Kostenreduzierung von Trn1-Instances freuen wir uns über die zusätzlichen Vorteile, die Trainium2 unseren Workflows und Kunden bieten wird.
Kosuke Arima, CTO and Co-Founder, Stockmark Inc. -
Brave
Brave ist ein unabhängiger Browser und eine Suchmaschine, deren Schwerpunkt auf der Privatsphäre und Sicherheit der Benutzer liegt. Mit über 70 Millionen Nutzern bieten wir branchenführende Schutzmaßnahmen, die das Web sicherer und benutzerfreundlicher machen. Im Gegensatz zu anderen Plattformen, die sich von nutzerorientierten Ansätzen abgewandt haben, setzt sich Brave weiterhin dafür ein, Datenschutz, Sicherheit und Komfort an erste Stelle zu setzen. Zu den wichtigsten Features gehören das Blockieren schädlicher Skripte und Tracker, KI-gestützte Seitenzusammenfassungen, die von LLMs unterstützt werden, integrierte VPN-Services und mehr. Wir sind ständig bestrebt, die Geschwindigkeit und Kosteneffizienz unserer Suchdienste und KI-Modelle zu verbessern. Um dies zu unterstützen, freuen wir uns, die neuesten Funktionen der AWS-KI-Chips, einschließlich Trainium2, nutzen zu können, um das Benutzererlebnis zu verbessern, während wir monatlich Milliarden von Suchanfragen verarbeiten.
Subu Sathyanarayana, VP of Engineering, Brave Software -
Anyscale
Anyscale ist das Unternehmen hinter Ray, einer KI-Compute-Engine, die ML- und generative KI-Initiativen für Unternehmen vorantreibt. Mit der vereinheitlichten KI-Plattform von Anyscale, die auf RayTurbo basiert, profitieren Kunden von einer bis zu 4,5-mal schnelleren Datenverarbeitung, 10-mal kostengünstiger Batch-Inferenz mit LLMs, einer 5-mal schnelleren Skalierung, 12-mal schnellerer Iteration und Kosteneinsparungen von 50 % bei der Online-Modellinferenz durch optimierte Nutzung der Ressourcen.
Bei Anyscale setzen wir uns dafür ein, Unternehmen mit den besten Tools auszustatten, um KI-Workloads effizient und kostengünstig zu skalieren. Mit nativer Unterstützung für AWS-Trainium- und Inferentia-Chips, die auf unserer RayTurbo-Laufzeit basieren, haben unsere Kunden Zugriff auf leistungsstarke, kostengünstige Optionen für Modelltraining und -service. Wir freuen uns jetzt, unsere Kräfte mit AWS auf Trainium2 zu bündeln und unseren Kunden neue Möglichkeiten zu eröffnen, schnell zu innovieren und leistungsstarke transformative KI-Erlebnisse in großem Maßstab bereitzustellen.
Robert Nishihara, Cofounder, Anyscale -
Datadog
Datadog, die Beobachtbarkeits- und Sicherheitsplattform für Cloud-Anwendungen, bietet Kunden AWS-Trainium- und Inferentia-Überwachung, um die Modellleistung zu optimieren, die Effizienz zu verbessern und die Kosten zu senken. Die Integration von Datadog bietet einen vollständigen Überblick über den ML-Betrieb und die zugrundeliegende Chip-Leistung und ermöglicht so eine proaktive Problemlösung und eine nahtlose Infrastrukturskalierung. Wir freuen uns, unsere Partnerschaft mit AWS für die Einführung von AWS Trainium2 zu verlängern. Dadurch können Benutzer die Kosten für die KI-Infrastruktur um bis zu 50 % senken und die Leistung von Modelltraining und -bereitstellung steigern.
Yrieix Garnier, VP of Product Company, Datadog -
Hugging Face
Hugging Face ist die führende offene Plattform für KI-Entwickler mit über 2 Millionen Modellen, Datensätzen und KI-Anwendungen, die von einer Community von mehr als 5 Millionen Forschern, Datenwissenschaftlern, Ingenieuren für Machine Learning und Softwareentwicklern gemeinsam genutzt werden. Wir haben in den letzten Jahren mit AWS zusammengearbeitet, um es Entwicklern zu erleichtern, die Leistungs- und Kostenvorteile von AWS Inferentia und Trainium mithilfe der Open-Source-Bibliothek Optimum Neuron zu nutzen, die in Hugging-Face-Inference-Endpunkte integriert und jetzt in unserem neuen HUGS-Self-Deployment-Service optimiert ist, der auf dem AWS Marketplace verfügbar ist. Mit der Einführung von Trainium2 erhalten unsere Benutzer eine noch höhere Leistung, um Modelle schneller entwickeln und bereitstellen zu können.
Jeff Boudier, Head of Product, Hugging Face -
Lightning AI
Lightning AI, der Entwickler von PyTorch Lightning und Lightning Studios, bietet die intuitivste umfassende Entwicklungsplattform für KI auf Unternehmensebene. Lightning bietet Full-Code-, Low-Code- und No-Code-Tools zum blitzschnellen Erstellen von Agenten, KI-Anwendungen und generativen KI-Lösungen. Es ist auf Flexibilität ausgelegt und läuft nahtlos in Ihrer oder unserer Cloud, wobei das Fachwissen und die Unterstützung einer mehr als 3 Millionen Mitglieder starken Entwickler-Community genutzt wird.
Lightning bietet jetzt nativ Unterstützung für AWS-KI-Chips, Trainium und Inferentia, die in Lightning Studios und unseren Open-Source-Tools wie PyTorch Lightning, Fabric und LitServe integriert sind. Auf diese Weise können Benutzer problemlos vorab trainieren, optimieren und im großen Maßstab bereitstellen. So werden Kosten, Verfügbarkeit und Leistung ohne Wechselaufwand optimiert, und die Leistungs- und Kostenvorteile von AWS-KI-Chips, einschließlich der neuesten Generation von Trainium2-Chips, bieten höhere Leistung bei geringeren Kosten.
Luca Antiga, CTO, Lightning AI -
Domino Data Lab
Domino orchestriert alle Artefakte der Datenwissenschaft, einschließlich Infrastruktur, Daten und Services auf AWS in verschiedenen Umgebungen, und ergänzt Amazon SageMaker durch Governance- und Kollaborationsfunktionen zur Unterstützung von Datenwissenschaftsteams in Unternehmen. Domino ist über AWS Marketplace als SaaS oder selbstverwaltet verfügbar.
Führende Unternehmen müssen ein Gleichgewicht zwischen technischer Komplexität, Kosten und Governance herstellen und dabei die umfangreichen KI-Optionen für einen Wettbewerbsvorteil nutzen. Bei Domino sind wir bestrebt, unseren Kunden den Zugriff auf modernste Technologien zu ermöglichen. Da die Rechenleistung bei so vielen bahnbrechenden Innovationen ein Engpass ist, sind wir stolz darauf, dass unsere Kunden auf Trainium 2 zugreifen können, um Modelle mit höherer Leistung, geringeren Kosten und besserer Energieeffizienz zu trainieren und bereitzustellen.
Nick Elprin, CEO und Mitgründer, Domino Data Lab
Erste Schritte
Produktdetails
Instance-Größe | Verfügbar in EC2 UltraServers | Trainium2-Chips | Beschleuniger Arbeitsspeicher |
vCPUs | Arbeitsspeicher (TB) |
Instance-Speicher (TB) | Netzwerkbandbreite (Tbps) | EBS-Bandbreite (GBit/s) |
trn2.48xlarge | Nein | 16 | 1,5 TB | 192 | 2 TB | 4 x 1,92 NVMe-SSD | 3,2 | 80 |
trn2u.48xlarge | Ja (Vorschau) | 16 | 1,5 TB | 192 | 2 TB | 4 x 1,92 NVMe-SSD | 3,2 | 80 |