Testimonianze dei clienti / Software e Internet

2023
Logo AI21 Labs

AI21 Labs accelera l’adozione di modelli di IA generativa grazie ad Amazon SageMaker

Scopri come AI21 Labs, leader nell’ambito dell’IA generativa e dei modelli linguistici di grandi dimensioni, ha rapidamente pre-addestrato e rilasciato un modello da 17 miliardi di parametri utilizzando Amazon SageMaker.

Meno di 2 mesi

dall’inizio al completamento del progetto

Un modello generativo pre-addestrato

con 17 miliardi di parametri in modo efficiente
 

Risparmio di tempo per gli ingegneri

che possono concentrarsi sulle attività essenziali anziché sulla configurazione dell’infrastruttura

Due terzi dei clienti

ha adottato rapidamente il modello Grande

Raggiunta un’inferenza a bassa latenza

che migliora la soddisfazione degli utenti

Panoramica

AI21 Labs (AI21), leader nell’intelligenza artificiale (IA) generativa e nei modelli linguistici di grandi dimensioni (LLM), vuole potenziare le aziende con LLM e applicazioni di IA all’avanguardia per creare soluzioni di IA generativa. Inizialmente, AI21 ha rilasciato due modelli: uno con 7 miliardi di parametri e un secondo con 178 miliardi di parametri. Tuttavia, l’azienda ha colto l’opportunità di offrire ai clienti un modello di medie dimensioni con 17 miliardi di parametri che colmasse il divario tra le due versioni esistenti. Il nuovo modello linguistico pre-addestrato avrebbe mantenuto la qualità nella generazione del testo a livelli paragonabili a quelli del modello di dimensioni maggiori con un costo di inferenza notevolmente inferiore per AI21 e i suoi clienti.

Per creare quel modello in modo efficiente, AI21 si è rivolta ad Amazon Web Services (AWS) e ha addestrato il modello di fondazione in meno di 20 giorni utilizzando Amazon SageMaker, che crea, addestra e implementa modelli di machine learning (ML) per quasi tutti i casi d’uso con infrastruttura, strumenti e flussi di lavoro completamente gestiti.

Opportunità | Utilizzo di Amazon SageMaker per pre-addestrare in modo efficiente un LLM con 17 miliardi di parametri per AI21

Fondata nel 2017, AI21 offre alle aziende l’accesso ai suoi modelli linguistici proprietari con AI21 Studio, che viene utilizzato da oltre 30.000 sviluppatori per creare applicazioni di IA generativa. L’azienda offre anche Wordtune, un assistente di scrittura e lettura basato sull’IA, Wordtune, che aiuta decine di milioni di utenti in tutto il mondo a interagire per iscritto.

Nell’agosto 2021, AI21 ha rilasciato il suo modello linguistico Jurassic-1 in due dimensioni: il modello Large, veloce ed economico, con 7,5 miliardi di parametri, e il modello Jumbo, con 178 miliardi di parametri, che offre un output di testo di qualità superiore a un costo maggiore. Sebbene i modelli più grandi offrano la qualità più elevata, possono essere costosi da gestire su larga scala e sono meno agili da usare. Per aiutare i propri clienti a ottimizzare il compromesso tra costi e qualità nelle operazioni su larga scala, nel dicembre 2022 AI21 ha pre-addestrato e rilasciato il suo terzo modello, Grande, con 17 miliardi di parametri, utilizzando Amazon SageMaker.

AI21 ha completato rapidamente il progetto in meno di 2 mesi dall’avvio, impiegando meno di 20 giorni per pre-addestrare il modello. Considerando che gli LLM sono enormi reti neurali con miliardi di parametri, l’addestramento è un progetto impegnativo e dispendioso in termini di tempo, che richiede enormi risorse di calcolo. Utilizzando Amazon SageMaker, AI21 ha sperimentato un processo di addestramento dei modelli più semplice ed efficiente e l’azienda ha potuto scalare i lavori di addestramento distribuiti su tutte le GPU necessarie. “I Solutions Architect di AWS sono stati reattivi e interattivi e siamo stati in grado di risolvere i problemi e portare a termine il progetto in tempo”, afferma Dan Padnos, Vicepresidente della piattaforma presso AI21.

L’azienda aveva già esperienza con AWS e ha scelto Amazon SageMaker perché è conveniente, semplice da usare e completamente gestito. Inoltre, AI21 ha potuto continuare a utilizzare lo stack del software di addestramento esistente ed essere operativa in tempi brevi, aspetto importante mentre stava sviluppando la propria attività. Per pre-addestrare il modello Grande in meno di 20 giorni, AI21 aveva bisogno di utilizzare 256 GPU A100 distribuite su 32 istanze. L’addestramento su larga scala richiedeva uno strumento in grado di orchestrare l’allocazione dei nodi, rendere disponibile la registrazione in una posizione centrale e ridurre la supervisione manuale. “Quando si esegue un lavoro di addestramento distribuito di questa portata, ogni tipo di sfida tecnica che potrebbe sembrare banale o irrilevante può diventare un rompicapo”, afferma Padnos. “Amazon SageMaker dispone di funzionalità che puoi utilizzare per gestire tale complessità e ridurre l’impegno che il team deve dedicare ai dettagli.” Ad esempio, Amazon SageMaker dispone di funzionalità come i controlli dell’integrità e la registrazione centralizzata che permettono alle aziende di incrementare l’efficienza.

kr_quotemark

Considerato che Amazon SageMaker gestisce i guasti dei nodi, si riavvia agevolmente e orchestra grandi esecuzioni distribuite, il team che lavora al pre-addestramento del modello può concentrarsi sulle attività essenziali.”

Dan Padnos
Vicepresidente della piattaforma presso AI21 Labs

Soluzione | Riduzione della latenza e promozione della crescita con un modello pre-addestrato utilizzando Amazon SageMaker

Utilizzando Amazon SageMaker, AI21 ha rilasciato rapidamente il nuovo modello. L’azienda stima di risparmiare diverse settimane di tempo sull’addestramento rispetto ai metodi precedenti. “Considerato che Amazon SageMaker gestisce i guasti dei nodi, si riavvia agevolmente e orchestra grandi esecuzioni distribuite, il team che lavora al pre-addestramento del modello può concentrarsi sulle attività principali”, afferma Padnos. “Invece di affrontare le sfide tecniche, i membri del team possono valutare le prestazioni del modello e i progressi dell’addestramento.”

La riduzione dei tempi era un aspetto importante perché le funzionalità del modello Grande soddisfano meglio le esigenze della maggior parte dei clienti di AI21. I clienti con casi d’uso per i consumatori, ad esempio la redazione automatica delle e-mail, hanno apprezzato la migrazione dal modello Jumbo al modello Grande perché la loro vasta scala richiede efficienza in termini di costi. A pochi mesi dall’introduzione, il modello Grande rappresentava circa i due terzi del traffico dell’azienda. “Abbiamo assistito a una rapida adozione e siamo molto soddisfatti del risultato”, afferma Padnos. “La nostra esperienza con Amazon SageMaker è stata molto positiva. Abbiamo raggiunto il risultato che speravamo rispettando i tempi e il budget, senza incappare in sfide inaspettate.”

Un aspetto fondamentale per le applicazioni di IA generativa è la bassa latenza di inferenza, perché l’esperienza utente deve essere fluida. Quando gli utenti creano contenuti utilizzando uno strumento come Wordtune, vogliono che l’IA funga da riferimento rapido senza rallentare il loro processo di pensiero. Utilizzando Amazon SageMaker, AI21 ha ottenuto una latenza a bassa inferenza con il modello Grande per soddisfare al meglio le esigenze dei clienti, riducendo la latenza di quattro volte per uno dei suoi grandi clienti. Di conseguenza, i clienti di AI21 possono servire milioni di utenti su base giornaliera quasi in tempo reale senza compromettere l’esperienza dell’utente. “Uno dei nostri clienti che opera su larga scala ha registrato un significativo miglioramento delle metriche di soddisfazione degli utenti, attribuito alla notevole riduzione della latenza durante la migrazione dal modello Jumbo al modello Grande”, afferma Padnos.

Il rilascio del modello Grande ha inoltre contribuito sia alla crescita di AI21 sia a quella dei suoi clienti. “Dopo aver rilasciato il modello Grande, che è stato addestrato utilizzando Amazon SageMaker, abbiamo registrato una crescita del nostro traffico complessivo”, afferma Padnos. “Anche i singoli clienti che sono migrati al modello Grande hanno incrementato il loro traffico.”

Risultato | Creazione di LLM di nuova generazione utilizzando Amazon SageMaker

Il modello Grande (ora chiamato Mid) è disponibile su Amazon SageMaker JumpStart, un hub di ML con algoritmi integrati, modelli di fondazione e soluzioni ML predefinite che gli utenti di Amazon SageMaker possono implementare con pochi clic. Il ciclo di vita dei dati è contenuto nell’ambiente dell’utente per mantenere la privacy e un’organizzazione può applicare il modello linguistico ai propri dati senza scrivere codice o aver bisogno di un playground del codice. Anche la serie di modelli di fondazione di nuova generazione di AI21, Jurassic-2, così come i modelli specifici per determinate attività sono disponibili su Amazon SageMaker JumpStart.

AI21 è entusiasta della crescente adozione dell’IA generativa in tutto il mondo nei prossimi mesi e anni. Utilizzando i servizi AWS, l’azienda sta lavorando attivamente su LLM che saranno più veloci, accurati, affidabili ed economici. “Abbiamo un ottimo rapporto con il team AWS”, afferma Padnos. “I membri del team hanno approfondito con noi i dettagli tecnici e hanno collaborato per le attività più sfidanti. Durante tutto il processo, il team AWS è stato creativo e consapevole delle nostre sfide e dei nostri obiettivi.”

Per ulteriori informazioni, visita la pagina https://aws.amazon.com/sagemaker.

Informazioni su AI21 Labs

La società di software AI21 Labs mette a disposizione degli sviluppatori i suoi modelli linguistici proprietari per creare applicazioni di intelligenza artificiale generativa, nonché un assistente di scrittura e lettura, Wordtune, basato sull’intelligenza artificiale.

Servizi AWS utilizzati

Amazon SageMaker

Amazon SageMaker aiuta sviluppatori e data scientist a preparare, creare, addestrare e implementare rapidamente modelli di machine learning (ML) di alta qualità combinando un’ampia gamma di funzionalità create ad hoc per il ML.

Ulteriori informazioni »

Amazon SageMaker JumpStart

Amazon SageMaker JumpStart è un hub di machine learning (ML) con modelli di fondazione, algoritmi integrati e soluzioni ML predefinite implementabili in pochi clic.

Ulteriori informazioni »

Altre testimonianze dei clienti relative all'IA generativa

nessun elemento trovato 

1

Inizia

Organizzazioni di tutte le dimensioni in tutti i settori trasformano il proprio business e realizzano le loro missioni ogni giorno utilizzando AWS. Contatta i nostri esperti e inizia subito il tuo percorso verso il cloud AWS.