LG AI Research entwickelt Basismodell mit Amazon SageMaker

Der südkoreanische Mischkonzern LG Group erfasst riesige Datenmengen von seinen Unternehmen, zu denen Haushaltsgeräte, Telekommunikation, Batterien und Pharmazeutika gehören. Ein zentraler Bestandteil der digitalen Transformation des Konzerns ist die Entwicklung von KI-Technologie und die Integration von KI in seine Produkte und Services. Der Konzern gründete LG AI Research, um die Leistung der KI in seiner digitalen Transformationsstrategie zu nutzen, bessere Kundenerlebnisse zu entwickeln und allgemeine Herausforderungen der Branche zu lösen.

Als LG AI Research beschloss, sein Basismodell der nächsten Generation zu entwickeln, das von der Funktionsweise des menschlichen Gehirns inspiriert wird und über eine fortgeschrittene Lern- und Urteilsfähigkeit verfügt, suchte es nach der effizientesten Machine Learning (ML)-Plattform zur Verarbeitung großer Datenmengen und für umfangreiches Training und Inferenzen. Das Basismodell musste auf Dutzenden von Terabytes an Daten trainiert werden, um menschenähnliche Schlussfolgerungen zu ziehen und Texte und Bilder zu verstehen. Darüber hinaus erforderte das Projekt eine leistungsstarke Recheninfrastruktur und die Flexibilität, die Anzahl der Parameter während des Trainings auf Milliarden zu erhöhen.

Auch die Automatisierung des Workflows war wichtig, da mehrere Modelle oder nachgelagerte Aufgaben gleichzeitig ausgeführt werden mussten. Um diese Anforderungen zu erfüllen, prüfte das Institut eine On-Premises-Infrastruktur, aber die Kosten waren zu hoch und es wären 20 Mitarbeiter für die Konfiguration und Wartung der On-Premises-Hardware erforderlich. Außerdem müssten die GPUs jedes Jahr aufgerüstet und weitere GPUs hinzugefügt werden, um Workload-Spitzen zu bewältigen. Angesichts aller Herausforderungen, die eine On-Premises-Lösung mit sich bringt, entschied LG AI Research, dass Amazon SageMaker für dieses Projekt am besten geeignet war.

LG AI Research hat sein Basismodell, EXAONE, innerhalb eines Jahres erfolgreich in die Produktion eingeführt. EXAONE, die Abkürzung für „Expert AI for Everyone“, ist ein multimodales Modell mit 300 Milliarden Parametern, das sowohl Bilder als auch Textdaten verwendet.

LG AI Research nutzte Amazon SageMaker zum Trainieren seines umfangreichen Basismodells und Amazon FSx for Lustre zum Verteilen von Daten in Instances, um das Modelltraining zu beschleunigen. Durch die Entwicklung auf AWS konnte LG AI Research Probleme beheben, Kontrollpunkte implementieren, Feinabstimmungen vornehmen und das Modell erfolgreich für die Produktion bereitstellen.

Gwang-mo Song von LG AI Research erklärt: „Durch die Nutzung der leistungsstarken verteilten Trainingsinfrastruktur von Amazon SageMaker können sich Forscher ausschließlich auf das Modelltraining konzentrieren, anstatt sich um die Verwaltung der Infrastruktur zu kümmern. Durch die Nutzung der parallelen Datenbibliothek von Amazon SageMaker konnten wir außerdem schnell Trainingsergebnisse erhalten, wenn die Anzahl der GPUs und Modellparameter zunahm.“

LG AI Research reduzierte die Kosten um rund 35 Prozent, da kein separates Team für das Infrastrukturmanagement erforderlich war. Mithilfe der verteilten parallelen Datenbibliothek von Amazon SageMaker konnte außerdem die Geschwindigkeit der Datenverarbeitung um etwa 60 Prozent gesteigert werden.

Mithilfe von EXAONE entwickelte LG AI Research eine virtuelle KI-Künstlerin namens Tilda. Die wesentliche Leistung von Tildas künstlerischen Qualitäten kommt von EXAONE, das mithilfe von 600 Milliarden Kunstwerken und 250 Millionen hochauflösenden, mit Text versehenen Bilder trainiert wurde. Die virtuelle Künstlerin schuf 3 000 Bilder und Muster für die Modedesignerin Yoon-hee Park, die mit Tildas Bildern und Mustern mehr als 200 Outfits für die New York Fashion Week 2022 entwarf.

Parks Zusammenarbeit mit LG AI Research zeigte das Potenzial der Ausweitung der KI-Technologie auf die Kunstindustrie, das Wachstum des KI-Ökosystems und die Förderung der branchenübergreifenden Zusammenarbeit. Das Unternehmen gab kürzlich eine Partnerschaft mit der Parsons School of Design in New York City bekannt, um gemeinsame Forschung zu fortschrittlichen KI-Technologien durchzuführen, die in der Modebranche eingesetzt werden können.

Mit Tilda hat EXAONE gezeigt, wie Basismodelle genutzt werden können, um eine Vielzahl von Sektoren zu transformieren, von Fertigung und Forschung bis hin zu Bildung und Finanzen. LG AI Research setzt seine Arbeit fort, um das menschliche Leben mithilfe seines Basismodells zu verbessern und freut sich auf eine enge Zusammenarbeit mit AWS bei zukünftigen Projekten.