LG AI Research sviluppa un modello di fondazione utilizzando Amazon SageMaker

Il conglomerato sudcoreano LG Group raccoglie grandi quantità di dati dalle sue società, che operano nel settore degli elettrodomestici, delle telecomunicazioni, delle batterie e dei prodotti farmaceutici. Un pilastro fondamentale della trasformazione digitale del gruppo è lo sviluppo della tecnologia IA e l'integrazione della stessa nei suoi prodotti e servizi. Il gruppo ha fondato LG AI Research per sfruttare la potenza dell'IA all'interno della propria strategia di trasformazione digitale, sviluppando una migliore esperienza dei clienti e risolvendo le sfide più comuni del settore.

Quando LG AI Research ha deciso di sviluppare il proprio modello di fondazione di nuova generazione, che trae ispirazione dal funzionamento del cervello umano e presenta un'avanzata capacità di apprendimento e giudizio, ha cercato la piattaforma di machine learning (ML) più efficiente per gestire grandi quantità di dati e operazioni di addestramento e inferenza su larga scala. Il modello di fondazione doveva essere addestrato su decine di terabyte di dati per arrivare a effettuare deduzioni simili a quelle umane e comprendere testi e immagini. Inoltre, il progetto richiedeva un'infrastruttura di calcolo ad alte prestazioni e la flessibilità necessaria per raggiungere un numero di parametri nell'ordine dei miliardi durante l'addestramento.

Anche l'automazione del flusso di lavoro era importante, poiché dovevano essere completati più modelli o attività a valle contemporaneamente. Per soddisfare questi requisiti, l'istituto ha preso in considerazione un'infrastruttura on-premise, ma i costi erano troppo elevati e sarebbero stati necessari 20 dipendenti per configurare e mantenere l'hardware on-premise. Sarebbe stato inoltre necessario effettuare l'aggiornamento delle GPU ogni anno e aggiungere altre GPU per supportare i picchi di carico di lavoro. Considerando tutte le sfide derivanti da una soluzione on-premise, LG AI Research ha deciso che Amazon SageMaker sarebbe stata la soluzione migliore per questo progetto.

LG AI Research è riuscita a mettere in produzione con successo il suo modello di fondazione, EXAONE, in un anno. EXAONE, che sta per "expert AI for everyone", è un modello multimodale da 300 miliardi di parametri che usa sia immagini che dati di testo.

LG AI Research ha usato Amazon SageMaker per addestrare il suo modello di fondazione su larga scala e Amazon FSx per Lustre per distribuire i dati in istanze in modo da accelerare l'addestramento dei modelli. Basandosi su AWS, LG AI Research è stata in grado di risolvere problemi, implementare checkpoint, perfezionare e distribuire con successo il modello in produzione.

Gwang-mo Song di LG AI Research spiega: "Utilizzando l'infrastruttura di addestramento distribuito ad alte prestazioni di Amazon SageMaker, i ricercatori possono concentrarsi esclusivamente sull'addestramento dei modelli anziché sulla gestione dell'infrastruttura. Inoltre, sfruttando la libreria di dati parallela di Amazon SageMaker, abbiamo potuto ottenere rapidamente risultati di addestramento all'aumentare del numero di GPU e dei parametri del modello".

LG AI Research ha ridotto i costi di circa il 35% eliminando la necessità di un team di gestione dell'infrastruttura separato. Ha inoltre aumentato la velocità di elaborazione dei dati di circa il 60% usando la libreria parallela di dati distribuiti di Amazon SageMaker.

Usando EXAONE, LG AI Research ha sviluppato un'artista IA virtuale chiamata Tilda. La forza principale delle qualità artistiche di Tilda deriva da EXAONE, che è stato addestrato con 600 miliardi di opere d'arte e 250 milioni di immagini ad alta risoluzione accompagnate da testo. L'artista virtuale ha creato 3.000 immagini e motivi per la stilista Yoon-hee Park, che ha disegnato più di 200 abiti per la settimana della moda di New York 2022 utilizzando le immagini e i motivi di Tilda.

Il lavoro di Park con LG AI Research ha dimostrato il potenziale dell'espansione della tecnologia IA all'industria artistica, dalla crescita dell'ecosistema IA e dalla promozione della collaborazione intersettoriale. L'azienda ha recentemente annunciato una partnership con la Parsons School of Design di New York City per condurre ricerche congiunte su tecnologie di intelligenza artificiale avanzate da sfruttare nel settore della moda.

Con Tilda, EXAONE ha mostrato come i modelli di base possano essere utilizzati per trasformare un'ampia gamma di settori, dalla produzione e la ricerca all'istruzione e alla finanza. LG AI Research continua a lavorare per migliorare la vita umana utilizzando il suo modello di fondazione e non vede l'ora di collaborare fianco a fianco con AWS sui progetti futuri.