Kunden von Amazon FSx für Lustre

DatologyAI entwickelt Tools, die automatisch die besten Daten für das Training von Deep-Learning-Modellen auswählen.

„Wir freuen uns, die Ein-Klick-Observability-Lösung von Amazon SageMaker HyperPod zu verwenden. Unsere leitenden Mitarbeiter benötigten Einblicke in die Nutzung der GPU-Ressourcen. Die vorgefertigten Grafana-Dashboards bieten uns genau das, was wir brauchten, und bieten sofortige Einblicke in wichtige Kennzahlen — von der aufgabenspezifischen GPU-Auslastung bis hin zur Dateisystemleistung (FSx for Lustre) —, ohne dass wir eine Überwachungsinfrastruktur verwalten müssen. Als jemand, der die Leistungsfähigkeit der Prometheus Query Language zu schätzen weiß, gefällt mir die Tatsache, dass ich meine eigenen Abfragen schreiben und benutzerdefinierte Metriken analysieren kann, ohne mir Gedanken über Infrastrukturprobleme machen zu müssen.“

Josh Wills, Technischer Mitarbeiter bei DatologyAI

Apoidea entwickelt KI-gestützte Lösungen für multinationale Banken unter Verwendung modernster generativer KI- und Deep-Learning-Technologien. Ihr Flaggschiffprodukt, SuperAcc, ist ein ausgeklügelter Dokumentenverarbeitungsservice, der firmeneigene Modelle verwendet, um verschiedene Finanzdokumente, einschließlich Kontoauszüge und KYC-Formulare, zu verarbeiten. Diese Technologie hat die Effizienz im Bankensektor dramatisch verbessert und die Bearbeitungszeit für Finanztransfers von 4-6 Stunden auf nur 10 Minuten reduziert.

Um diese Entwicklung zu unterstützen, verwendet Apoidea Amazon SageMaker HyperPod, das eine skalierbare und flexible Umgebung für groß angelegtes Modelltraining bietet. SageMaker HyperPod bietet verteiltes Trainingsmanagement, nahtlose Datensynchronisierung mit FSx for Lustre und anpassbare Umgebungen, die alle die Effizienz des ML-Workflows verbessern.

Adobe wurde vor 40 Jahren mit der einfachen Idee gegründet, innovative Produkte zu erschaffen, die die Welt verändern. Adobe bietet bahnbrechende Technologien, die es jedem überall ermöglichen, digitale Lösungen zu ersinnen, zu entwickeln und zum Leben zu erwecken. Anstatt sich auf Open-Source-Modelle zu verlassen, beschloss Adobe, seine eigenen grundlegenden generativen KI-Modelle zu trainieren, die auf kreative Anwendungsfälle zugeschnitten sind. Adobe hat in AWS eine KI-Autobahn errichtet, um eine KI-Trainingsplattform und Daten-Pipelines für die schnelle Iteration von Modellen zu erstellen. Adobe verwendete Amazon FSx für den leistungsstarken Lustre-Dateispeicher, für den schnellen Zugriff auf Daten und um sicherzustellen, dass GPU-Ressourcen niemals ungenutzt bleiben.

„Es ist leicht zu glauben, dass ich meine eigene KI-Cloud erstellen werde, aber dank der Partnerschaft mit AWS können wir uns auf unsere Alleinstellungsmerkmale konzentrieren.“

Alexandru Costin – Vice President, Generative AI und Sensei bei Adobe

LG AI Research, das Forschungszentrum für künstliche Intelligenz (KI) des südkoreanischen Mischkonzerns LG Group, wurde gegründet, um KI im Rahmen seiner digitalen Transformationsstrategie zu fördern und das zukünftige Wachstum voranzutreiben. Das Forschungsinstitut entwickelte sein Basismodell EXAONE Engine innerhalb eines Jahres unter Verwendung von Amazon SageMaker und Amazon FSx for Lustre. Das Grundmodell ahmt Menschen nach, wie sie denken, lernen und eigenständig handeln, und zwar durch groß angelegtes Datentraining. Das Mehrzweck-Basismodell kann in verschiedenen Branchen für eine Reihe von Aufgaben eingesetzt werden.

Paige, ein führender Anbieter digitaler Pathologie, wollte seine KI- und ML-Modelle für die Krebsdiagnose verbessern, stieß jedoch bei lokalen Lösungen auf Einschränkungen. Um dies zu überwinden, führte Paige Amazon EC2 P4d-Instances und Amazon FSx for Lustre ein und integrierte letztere in Amazon S3-Buckets, um Petabyte an ML-Eingabedaten effizient zu verarbeiten. Diese AWS-Infrastruktur ermöglichte es Paige, Daten ohne manuelles Prestaging auf leistungsstarken Dateisystemen zu verarbeiten. Infolgedessen erzielte Paige eine zehnfache Steigerung der Datenschulungskapazität und eine um 72% schnellere interne Arbeitsabläufe.

„Durch die Verbindung von Amazon FSx for Lustre mit Amazon S3 können wir problemlos mit der zehnfachen Datenmenge trainieren, die wir je in der lokalen Infrastruktur ausprobiert haben. “

Alexander van Eck, Mitarbeiter des KI-Ingenieurs – Paige

Das Toyota Research Institute (TRI) sammelt und verarbeitet große Mengen an Sensordaten aus seinen Testfahrten mit autonomen Fahrzeugen (AV). Jeder Trainingsdatensatz wird auf einem lokalen NAS-Gerät bereitgestellt und an Amazon Simple Storage Service (Amazon S3) übertragen, bevor er auf einem leistungsstarken GPU-Rechencluster verarbeitet wird. TRI benötigte ein leistungsstarkes Dateisystem, um seine Rechenressourcen zu kombinieren, das ML-Modelltraining zu beschleunigen und die Erkenntnisse für seine Datenwissenschaftler zu beschleunigen. Das Toyota Research Institute entscheidet sich für FSx für Lustre, um die Trainingszeiten für Machine Learning bei der Objekterkennung zu verkürzen.

„Wir benötigten ein paralleles Dateisystem für unsere ML-Trainingsdatensätze und entschieden uns für Amazon FSx for Lustre, da es im Vergleich zu unserem herkömmlichen Dateisystemangebot eine höhere Verfügbarkeit und Haltbarkeit bietet. Die Integration mit AWS-Services, einschließlich S3, machte es auch zur bevorzugten Option für unseren leistungsstarken Dateispeicher. “

David Fluck, Softwareingenieur – Toyota Research Institute

Shell bietet ein dynamisches Portfolio an Energieoptionen — von Öl, Gas und Petrochemikalien bis hin zu Wind, Sonne und Wasserstoff — Shell ist stolz darauf, seinen Kunden die Energie liefern zu können, die sie für ihren Lebensunterhalt benötigen. Shell setzt beim Modellbau, Testen und Validieren auf HPC. Von 2020 bis 2022 lag die GPU-Auslastung im Durchschnitt bei weniger als 90 %, was zu Projektverzögerungen und Einschränkungen bei der Erprobung neuer Algorithmen führte. Shell erweitert seine lokale Rechenkapazität, indem es mit Amazon EC2-Clustern und Amazon FSx for Lustre in die Cloud übergeht. Diese Lösung gibt Shell die Möglichkeit, schnell nach oben und unten zu skalieren und zusätzliche Rechenkapazität nur dann zu erwerben, wenn sie benötigt wird. Die GPUs von Shell sind jetzt voll ausgelastet, was die Rechenkosten senkt und das Testen von Modellen für Machine Learning beschleunigt.

Netflix verwendet groß angelegtes, verteiltes Training für Medien-ML-Modelle, für die Nachbearbeitung von Miniaturansichten, VFX und Trailergenerierung für Tausende von Videos und Millionen von Clips. Bei Netflix gab es aufgrund der knotenübergreifenden Replikation und einer GPU-Leerlaufzeit von 40 % lange Wartezeiten.

Netflix hat seine Pipeline zum Laden von Daten neu konzipiert und die Effizienz verbessert, indem alle Video- und Audioclips vorab berechnet wurden. Die Leistung von Amazon FSx für Lustre ermöglicht es Netflix, GPUs zu überlasten und GPU-Leerlaufzeiten praktisch zu eliminieren. Netflix verzeichnet mit Pre-Compute und FSx für Lustre jetzt eine Verbesserung um das Drei- bis Vierfache, wodurch die Trainingszeit der Modelle von einer Woche auf 1-2 Tage reduziert wird.

Sehen Sie sich das Netflix-Video an

Die Produktion der vierten Staffel des Netflix-Episodendramas „The Crown“ stieß auf unerwartete Probleme, als sich der weltweite Lockdown aufgrund der COVID-19-Pandemie mit dem geplanten Beginn der Postproduktion für visuelle Effekte überschnitt. Durch die Einführung eines Cloud-basierten Workflows auf AWS, einschließlich des Amazon FSx Lustre-Dateiservers für einen verbesserten Durchsatz, konnte das interne VFX-Team von Netflix aus 10 Künstlern in nur 8 Monaten nahtlos mehr als 600 VFX-Aufnahmen für die 10-teilige Folge der Staffel fertigstellen, und das alles aus der Ferne.

Storengy, eine Tochtergesellschaft der ENGIE Group, ist ein führender Erdgaslieferant. Das Unternehmen bietet Gasspeicher, geothermische Lösungen, kohlenstofffreie Energieerzeugung und Speichertechnologien für Unternehmen auf der ganzen Welt an.

Um sicherzustellen, dass seine Produkte ordnungsgemäß gelagert werden, verwendet Storengy Hightech-Simulatoren zur Bewertung der unterirdischen Gasspeicherung. Dieser Prozess erfordert den umfassenden Einsatz von Hochleistungsrechnern (HPC). Das Unternehmen verwendet die HPC-Technologie auch für die Entdeckung und Exploration von Erdgas.

„Dank AWS verfügen wir über die Skalierbarkeit und Hochverfügbarkeit, um Hunderte von Simulationen gleichzeitig durchzuführen. Darüber hinaus skaliert die Lösung automatisch nach oben oder unten, um unsere Hauptauslastungszeiten zu unterstützen, sodass wir mit unserer HPC-Umgebung keine Überraschungen erleben werden. “

Jean-Frederic Thebault – Ingenieur, Storengy

Smartronix nutzt FSx für Lustre, um eine zuverlässige Hochleistung für ihre SAS-Grid-Implementierungen bereitzustellen.

Smartronix bietet Cloud-Lösungen, Cybersicherheit, Systemintegration, weltweites C5ISR und Datenanalyse sowie missionsorientiertes Engineering für viele der weltweit führenden Handels- und Bundesorganisationen. Smartronix verließ sich bei der Analyse und Bereitstellung der landesweiten täglichen COVID-Statistiken auf SAS Grid und stellte fest, dass das selbstverwaltete, parallele Dateisystem schwierig zu verwalten und zu schützen war.

„Die Zusammenarbeit mit AWS und die Nutzung ihrer verwalteten Lösungen wie FSx for Lustre haben es uns ermöglicht, unsere Kunden besser zu bedienen — mit höherer Verfügbarkeit und 29% niedrigeren Kosten als bei selbstverwalteten Dateisystemen. “

Rob Mounier – Leitender Lösungsarchitekt, Smartronix

Die Hyundai Motor Company, ein globaler Automobilhersteller, der in über 200 Länder exportiert, verwendet semantische Segmentierung für autonomes Fahren, um Bildpixel in Kategorien wie Straßen, Personen und Gebäude zu klassifizieren.

Um die Modellgenauigkeit zu verbessern und Termine einzuhalten, implementierte Hyundai Amazon SageMaker für automatisiertes Training und Datenparallelität über mehrere GPUs hinweg sowie Amazon FSx for Lustre und S3 für effiziente Datenspeicherung und -verarbeitung. Diese Lösungen halfen Hyundai, mit 64 GPUs eine Skalierungseffizienz von 93% zu erreichen und gleichzeitig Wartezeiten für Daten zu vermeiden.

Amazon FSx for Lustre spielte eine entscheidende Rolle bei der Cloud-Transformation von Rivian und bot den schnellen gemeinsamen Speicherzugriff, der für die computergestützten Engineering- und Design-Workloads von Rivian erforderlich war. Durch die Verwendung von FSx for Lustre als Teil seiner AWS-Lösung verbesserte Rivian seine Leistungskennzahlen erheblich, darunter eine Steigerung der Interaktionsgeschwindigkeit des Produktlebenszyklusmanagements um 66% und die Reduzierung der Backup-Synchronisierungszeit von einem Tag auf weniger als eine Stunde.

Der vollständig verwaltete Speicherservice wurde zusammen mit anderen AWS-Services wie Amazon EC2 und Auto Scaling implementiert und half Rivian dabei, die Einschränkungen der lokalen Infrastruktur zu überwinden und skalierbare, leistungsstarke Rechenkapazitäten in nur drei Wochen zu erreichen, verglichen mit dem erwarteten Zeitraum von sechs Monaten.

Denso entwickelt Bildsensoren für fortschrittliche Fahrerassistenzsysteme (ADAS), die Fahrer bei Funktionen wie Parken und Spurwechseln unterstützen. Um die notwendigen ML-Modelle für die ADAS-Bilderkennung zu entwickeln, hatte DENSO GPU-Cluster in seiner lokalen Umgebung gebaut. Allerdings teilten sich mehrere ML-Techniker begrenzte GPU-Ressourcen, was sich negativ auf die Produktivität auswirkte – insbesondere in der geschäftigen Zeit vor der Veröffentlichung eines neuen Produkts.

Durch die Einführung von Amazon SageMaker und Amazon FSx for Lustre konnte Denso die Erstellung von ADAS-Bilderkennungsmodellen beschleunigen, indem der Zeitaufwand für Datenerfassung, Modellentwicklung, Lernen und Evaluierung reduziert wurde.

„Die Praxis der Umstellung auf die Cloud wird sich im Bereich künstliche Intelligenz und ML weiter beschleunigen. Ich bin zuversichtlich, dass AWS uns weiterhin unterstützen wird, während wir weitere Funktionen hinzufügen.“

Kensuke Yokoi, Geschäftsführer von DENSO

T-Mobile transformierte seine SAS Grid-Infrastruktur durch die Implementierung von Amazon FSx for Lustre, um Leistungsprobleme und den hohen Verwaltungsaufwand mit ihrem selbstverwalteten System zu beheben.

Die Bereitstellung von FSx for Lustre zusammen mit der Integration mit Amazon S3 ermöglichte es T-Mobile, die Geschwindigkeit seiner SAS-Grid-Workloads zu verdoppeln und gleichzeitig jährliche Einsparungen von 1,5 Mio. USD sowie eine Senkung der Gesamtbetriebskosten um 83% zu erzielen.

Die Lösung beseitigte betriebliche Belastungen und ermöglichte es T-Mobile, sich auf sein Kerngeschäft, die Entwicklung innovativer Kundenprodukte, zu konzentrieren und gleichzeitig die fortschrittlichen Speicherfunktionen von AWS zu nutzen.

Maxar Technologies, ein vertrauenswürdiger Partner und Innovator in den Bereichen Erdaufklärung und Weltrauminfrastruktur, musste Wettervorhersagen im Vergleich zu seinem lokalen Supercomputer schneller liefern. Maxar arbeitete mit AWS zusammen, um eine HPC-Lösung mit Schlüsseltechnologien zu entwickeln, darunter AMAZON EC2 für sichere, äußerst zuverlässige Rechenressourcen, Amazon FSx for Lustre zur Beschleunigung des Lese-/Schreibdurchsatzes seiner Anwendung und AWS ParallelCluster zur schnellen Erstellung von HPC-Rechenumgebungen auf AWS.

„Maxar verwendete Amazon FSx for Lustre in unserer AWS-HPC-Lösung für die Ausführung des numerischen Wettervorhersagemodells der NOAA. Dadurch konnten wir die Rechenzeit um 58 % reduzieren und die Prognose in etwa 45 Minuten erstellen, was zu einem wesentlich kostengünstigeren Preis führte. Die Maximierung unserer AWS-Rechenressourcen war für uns ein unglaublicher Leistungsschub. “

Stefan Cecelski, PhD, leitender Datenwissenschaftler und Ingenieur – Maxar Technologies

Die Verarbeitung von Magnetresonanztomographie (MRT) -Daten mit Standard-DiY-Cloud-Dateisystemen war ressourcen- und zeitintensiv. BlackThorn benötigte eine rechenintensive, gemeinsam genutzte Dateispeicherlösung, um seine Workflows in den Bereichen Datenwissenschaft und Machine Learning zu vereinfachen. Amazon FSx for Lustre ist in Amazon S3 und Amazon SageMaker integriert und bietet eine schnelle Verarbeitung ihrer ML-Trainingsdatensätze sowie einen nahtlosen Zugriff auf Berechnungen mithilfe von Amazon EC2-Instances.

„FSx for Lustre hat es uns ermöglicht, eine leistungsstarke MRT-Datenverarbeitungspipeline zu erstellen. Die Datenverarbeitungszeit für unsere ML-basierten Workflows wurde im Vergleich zu Tagen und Wochen auf Minuten reduziert. “

Oscar Rodriguez, leitender Direktor für Innovation und Technologie – BlackThorn Therapeutics

Qubole war auf der Suche nach einer leistungsstarken Speicherlösung zur Verarbeitung von Analyse- und KI/ML-Workloads für seine Kunden. Sie mussten die in ihrer EC2-Spot-Flotte enthaltenen Zwischendaten einfach speichern und verarbeiten. Qubole verwendete Amazon FSx for Lustre, um Zwischendaten über sein paralleles Hochgeschwindigkeitsdateisystem zu speichern und zu verarbeiten.

„Die beiden größten Probleme unserer Benutzer, hohe Kosten und Zwischendatenverlust, ergaben sich aus der Verwendung inaktiver EC2-Instances und EC2-Spot-Instances zur Verarbeitung und Speicherung von Zwischendaten, die von verteilten Verarbeitungsframeworks wie Hive und Spark generiert wurden. Wir konnten dieses Problem lösen, indem wir Amazon FSx für Lustre, ein hochperformantes Dateisystem, zum Auslagern von Zwischendaten verwendeten. Jetzt müssen unsere Benutzer nicht mehr für die Wartung inaktiver Instances bezahlen und sind nicht von unterbrochenen EC2-Spot-Knoten betroffen. Amazon FSx hat unseren Nutzern geholfen, die Gesamtkosten um 30% zu senken. “

Joydeep Sen Sarma, Technischer Mitarbeiter – Qubole