AI21 Labs accelera l'adozione di modelli di IA generativa grazie ad Amazon SageMaker

Fondata nel 2017, AI21 offre alle aziende l'accesso ai suoi modelli linguistici proprietari con AI21 Studio, che viene utilizzato da oltre 30.000 sviluppatori per creare applicazioni di intelligenza artificiale generativa. L'azienda offre anche l'assistente di scrittura e lettura basato sull'intelligenza artificiale, Wordtune, che aiuta decine di milioni di utenti in tutto il mondo a interagire con la lingua scritta.

Nell'agosto 2021, AI21 ha rilasciato il suo modello linguistico Jurassic-1 in due dimensioni: il modello Large è veloce ed economico con 7,5 miliardi di parametri e il modello Jumbo offre un output di testo di qualità superiore a un costo maggiore, con 178 miliardi di parametri. Sebbene i modelli più grandi offrano la massima qualità, possono essere costosi da gestire su larga scala e sono meno agili da usare. Per aiutare i propri clienti a ottimizzare il compromesso tra costi e qualità nelle operazioni su larga scala, AI21 ha pre-addestrato e rilasciato,utilizzando Amazon SageMaker nel dicembre 2022, il suo terzo modello: Grande, con 17 miliardi di parametri.

AI21 ha completato rapidamente il progetto in meno di 2 mesi dall'avvio, impiegando meno di 20 giorni per pre-addestrare il modello. Considerando che gli LLM sono enormi reti neurali con miliardi di parametri, la formazione è un progetto impegnativo e dispendioso in termini di tempo, che richiede enormi risorse di calcolo. Utilizzando Amazon SageMaker, AI21 ha sperimentato un processo di addestramento dei modelli più semplice ed efficiente e l'azienda ha potuto scalare i lavori di formazione distribuiti su tutte le GPU necessarie. «Gli architetti delle soluzioni di AWS sono stati reattivi e interattivi e siamo stati in grado di risolvere i problemi e portare a termine il progetto in tempo», afferma Dan Padnos, vicepresidente di Platform presso AI21.

L'azienda aveva già esperienza con AWS e ha scelto Amazon SageMaker perché è conveniente, semplice da usare e completamente gestito. Inoltre, AI21 ha potuto continuare a utilizzare lo stack del software di formazione esistente ed essere operativa in tempi brevi, aspetto importante mentre l'azienda stava creando la propria attività. Per pre-addestrare il modello Grande in meno di 20 giorni, AI21 aveva bisogno di utilizzare 256 GPU A100, distribuite su 32 istanze. L'addestramento su larga scala richiedeva uno strumento in grado di orchestrare l'allocazione dei nodi, rendere disponibile la registrazione in una posizione centrale e ridurre la supervisione manuale. «Quando si esegue un lavoro di addestramento distribuito di questa portata, ogni tipo di sfida tecnica che potrebbe sembrare banale o irrilevante può diventare un rompicapo», afferma Padnos. «Amazon SageMaker dispone di funzionalità che puoi utilizzare per gestire tale complessità e ridurre l'impegno necessario al tuo team per investire nei dettagli». Ad esempio, Amazon SageMaker dispone di funzionalità come i controlli dell'integrità e la registrazione centralizzata che le aziende possono utilizzare per aumentare l'efficienza.

Utilizzando Amazon SageMaker, AI21 ha rilasciato rapidamente il nuovo modello. L'azienda stima di risparmiare diverse settimane di tempo rispetto ai precedenti metodi di addestramento. «Considerato che Amazon SageMaker gestisce i guasti dei nodi, si riavvia con eleganza e orchestra grandi esecuzioni distribuite, il team che lavora al pre-addestramento del modello può concentrarsi sulle attività principali» ha affermato Padnos. «Invece di affrontare le sfide tecniche, possono valutare le prestazioni del modello e i progressi della formazione».

La tempistica accelerata è stata importante perché le funzionalità del modello Grande soddisfano meglio le esigenze della maggior parte dei clienti di AI21. I clienti con casi d'uso per i consumatori, ad esempio la redazione automatica delle e-mail, hanno apprezzato la migrazione dal modello Jumbo al modello Grande perché la loro ampia scala richiede efficienza in termini di costi. A pochi mesi dall'introduzione, il modello Grande rappresentava circa i due terzi del traffico dell'azienda. «Abbiamo assistito a una rapida adozione e siamo molto soddisfatti del risultato», afferma Padnos. «La nostra esperienza con Amazon SageMaker è stata molto positiva. Abbiamo raggiunto il risultato che speravamo rispettando i tempi, il budget e senza sfide inaspettate».

Una considerazione fondamentale per le applicazioni di intelligenza artificiale generativa è la bassa latenza di inferenza, perché l'esperienza utente deve essere fluida. Quando gli utenti creano contenuti utilizzando uno strumento come Wordtune, vogliono che l'IA funga da riferimento rapido senza rallentare il loro processo di pensiero. Utilizzando Amazon SageMaker, AI21 ha ottenuto una latenza a bassa inferenza con il modello Grande per soddisfare al meglio le esigenze dei clienti, riducendo la latenza di quattro volte per uno dei suoi grandi clienti. Di conseguenza, i clienti di AI21 possono servire milioni di utenti su base giornaliera quasi in tempo reale senza compromettere l'esperienza dell'utente. «Uno dei nostri clienti su larga scala ha registrato un significativo miglioramento delle metriche di soddisfazione degli utenti, attribuito alla notevole riduzione della latenza durante la migrazione dal modello Jumbo al modello Grande», afferma Padnos.

Il rilascio del modello Grande ha inoltre contribuito sia alla crescita di AI21 che a quella dei suoi clienti. «Dopo aver rilasciato il modello Grande, che è stato addestrato utilizzando Amazon SageMaker, abbiamo registrato una crescita del nostro traffico complessivo», afferma Padnos. «Anche i singoli clienti che sono migrati al modello Grande hanno aumentato il loro traffico».

Il modello Grande (ora chiamato Mid) è disponibile su Amazon SageMaker JumpStart, un hub di ML con algoritmi integrati, modelli di base e soluzioni ML predefinite che gli utenti di Amazon SageMaker possono implementare con pochi clic. Il ciclo di vita dei dati è contenuto nell'ambiente dell'utente per mantenere la privacy e un'organizzazione può applicare il modello linguistico ai propri dati senza scrivere codice o aver bisogno di un playground del codice. La serie di modelli base di nuova generazione di AI21, Jurassic-2, così come i modelli specifici per attività sono disponibili anche su Amazon SageMaker JumpStart.

AI21 è entusiasta della crescente adozione dell'IA generativa in tutto il mondo nei prossimi mesi e anni. Utilizzando i servizi AWS, l'azienda sta lavorando attivamente su LLM che saranno più veloci, accurati, affidabili ed economici. «Abbiamo un ottimo rapporto con il team AWS», afferma Padnos. «I membri del team hanno approfondito con noi i dettagli tecnici e hanno collaborato per le attività più sfidanti. Durante tutto il processo, il team AWS è stato creativo e consapevole delle nostre sfide e dei nostri obiettivi».

Per ulteriori informazioni visita la pagina https://aws.amazon.com/sagemaker.