AI21 Labs accelera l’adozione di modelli di IA generativa grazie ad Amazon SageMaker

Fondata nel 2017, AI21 offre alle aziende l’accesso ai suoi modelli linguistici proprietari con AI21 Studio, che viene utilizzato da oltre 30.000 sviluppatori per creare applicazioni di IA generativa. L’azienda offre anche Wordtune, un assistente di scrittura e lettura basato sull’IA, Wordtune, che aiuta decine di milioni di utenti in tutto il mondo a interagire per iscritto.

Nell’agosto 2021, AI21 ha rilasciato il suo modello linguistico Jurassic-1 in due dimensioni: il modello Large, veloce ed economico, con 7,5 miliardi di parametri, e il modello Jumbo, con 178 miliardi di parametri, che offre un output di testo di qualità superiore a un costo maggiore. Sebbene i modelli più grandi offrano la qualità più elevata, possono essere costosi da gestire su larga scala e sono meno agili da usare. Per aiutare i propri clienti a ottimizzare il compromesso tra costi e qualità nelle operazioni su larga scala, nel dicembre 2022 AI21 ha pre-addestrato e rilasciato il suo terzo modello, Grande, con 17 miliardi di parametri, utilizzando Amazon SageMaker.

AI21 ha completato rapidamente il progetto in meno di 2 mesi dall’avvio, impiegando meno di 20 giorni per pre-addestrare il modello. Considerando che gli LLM sono enormi reti neurali con miliardi di parametri, l’addestramento è un progetto impegnativo e dispendioso in termini di tempo, che richiede enormi risorse di calcolo. Utilizzando Amazon SageMaker, AI21 ha sperimentato un processo di addestramento dei modelli più semplice ed efficiente e l’azienda ha potuto scalare i lavori di addestramento distribuiti su tutte le GPU necessarie. “I Solutions Architect di AWS sono stati reattivi e interattivi e siamo stati in grado di risolvere i problemi e portare a termine il progetto in tempo”, afferma Dan Padnos, Vicepresidente della piattaforma presso AI21.

L’azienda aveva già esperienza con AWS e ha scelto Amazon SageMaker perché è conveniente, semplice da usare e completamente gestito. Inoltre, AI21 ha potuto continuare a utilizzare lo stack del software di addestramento esistente ed essere operativa in tempi brevi, aspetto importante mentre stava sviluppando la propria attività. Per pre-addestrare il modello Grande in meno di 20 giorni, AI21 aveva bisogno di utilizzare 256 GPU A100 distribuite su 32 istanze. L’addestramento su larga scala richiedeva uno strumento in grado di orchestrare l’allocazione dei nodi, rendere disponibile la registrazione in una posizione centrale e ridurre la supervisione manuale. “Quando si esegue un lavoro di addestramento distribuito di questa portata, ogni tipo di sfida tecnica che potrebbe sembrare banale o irrilevante può diventare un rompicapo”, afferma Padnos. “Amazon SageMaker dispone di funzionalità che puoi utilizzare per gestire tale complessità e ridurre l’impegno che il team deve dedicare ai dettagli.” Ad esempio, Amazon SageMaker dispone di funzionalità come i controlli dell’integrità e la registrazione centralizzata che permettono alle aziende di incrementare l’efficienza.

Utilizzando Amazon SageMaker, AI21 ha rilasciato rapidamente il nuovo modello. L’azienda stima di risparmiare diverse settimane di tempo sull’addestramento rispetto ai metodi precedenti. “Considerato che Amazon SageMaker gestisce i guasti dei nodi, si riavvia agevolmente e orchestra grandi esecuzioni distribuite, il team che lavora al pre-addestramento del modello può concentrarsi sulle attività principali”, afferma Padnos. “Invece di affrontare le sfide tecniche, i membri del team possono valutare le prestazioni del modello e i progressi dell’addestramento.”

La riduzione dei tempi era un aspetto importante perché le funzionalità del modello Grande soddisfano meglio le esigenze della maggior parte dei clienti di AI21. I clienti con casi d’uso per i consumatori, ad esempio la redazione automatica delle e-mail, hanno apprezzato la migrazione dal modello Jumbo al modello Grande perché la loro vasta scala richiede efficienza in termini di costi. A pochi mesi dall’introduzione, il modello Grande rappresentava circa i due terzi del traffico dell’azienda. “Abbiamo assistito a una rapida adozione e siamo molto soddisfatti del risultato”, afferma Padnos. “La nostra esperienza con Amazon SageMaker è stata molto positiva. Abbiamo raggiunto il risultato che speravamo rispettando i tempi e il budget, senza incappare in sfide inaspettate.”

Un aspetto fondamentale per le applicazioni di IA generativa è la bassa latenza di inferenza, perché l’esperienza utente deve essere fluida. Quando gli utenti creano contenuti utilizzando uno strumento come Wordtune, vogliono che l’IA funga da riferimento rapido senza rallentare il loro processo di pensiero. Utilizzando Amazon SageMaker, AI21 ha ottenuto una latenza a bassa inferenza con il modello Grande per soddisfare al meglio le esigenze dei clienti, riducendo la latenza di quattro volte per uno dei suoi grandi clienti. Di conseguenza, i clienti di AI21 possono servire milioni di utenti su base giornaliera quasi in tempo reale senza compromettere l’esperienza dell’utente. “Uno dei nostri clienti che opera su larga scala ha registrato un significativo miglioramento delle metriche di soddisfazione degli utenti, attribuito alla notevole riduzione della latenza durante la migrazione dal modello Jumbo al modello Grande”, afferma Padnos.

Il rilascio del modello Grande ha inoltre contribuito sia alla crescita di AI21 sia a quella dei suoi clienti. “Dopo aver rilasciato il modello Grande, che è stato addestrato utilizzando Amazon SageMaker, abbiamo registrato una crescita del nostro traffico complessivo”, afferma Padnos. “Anche i singoli clienti che sono migrati al modello Grande hanno incrementato il loro traffico.”

Il modello Grande (ora chiamato Mid) è disponibile su Amazon SageMaker JumpStart, un hub di ML con algoritmi integrati, modelli di fondazione e soluzioni ML predefinite che gli utenti di Amazon SageMaker possono implementare con pochi clic. Il ciclo di vita dei dati è contenuto nell’ambiente dell’utente per mantenere la privacy e un’organizzazione può applicare il modello linguistico ai propri dati senza scrivere codice o aver bisogno di un playground del codice. Anche la serie di modelli di fondazione di nuova generazione di AI21, Jurassic-2, così come i modelli specifici per determinate attività sono disponibili su Amazon SageMaker JumpStart.

AI21 è entusiasta della crescente adozione dell’IA generativa in tutto il mondo nei prossimi mesi e anni. Utilizzando i servizi AWS, l’azienda sta lavorando attivamente su LLM che saranno più veloci, accurati, affidabili ed economici. “Abbiamo un ottimo rapporto con il team AWS”, afferma Padnos. “I membri del team hanno approfondito con noi i dettagli tecnici e hanno collaborato per le attività più sfidanti. Durante tutto il processo, il team AWS è stato creativo e consapevole delle nostre sfide e dei nostri obiettivi.”

Per ulteriori informazioni, visita la pagina https://aws.amazon.com/sagemaker.