Perplexity accelera del 40% l'addestramento dei modelli di fondazione grazie ad Amazon SageMaker HyperPod

A differenza dei motori di ricerca tradizionali, che spesso promuovono annunci e parole chiave specifiche rispetto ai risultati pertinenti, la soluzione di Perplexity è ottimizzata per connettere gli utenti alle informazioni che cercano. Circa dieci milioni di utenti attivi ogni mese si affidano a Perplexity per imparare nuovi concetti, risolvere sfide e trovare risposte.

"Utilizzando modelli linguistici di grandi dimensioni, possiamo riunire le capacità di comprensione e ragionamento del linguaggio umano in un unico modello. Questo, unito ai dati su Internet, ci ha aiutato a costruire il nostro motore di risposta”, afferma Aravind Srinivas, CEO e cofounder di Perplexity. "In sostanza, abbiamo orchestrato insieme un indice di ricerca tradizionale (motore di dati) e un motore di ragionamento (modello linguistico di grandi dimensioni) per creare il primo motore di risposta conversazionale al mondo".

Dal suo lancio nel 2022, Perplexity ha utilizzato servizi AWS di base come Amazon Elastic Compute Cloud (Amazon EC2), che fornisce capacità di calcolo sicura e ridimensionabile praticamente per qualsiasi carico di lavoro, per potenziare i componenti di backend, front-end e di ricerca del suo prodotto. Man mano che Perplexity maturava e il suo numero di modelli di ML cresceva, aveva bisogno di un'enorme potenza di calcolo per servire gli utenti.

Perplexity ha parlato con gli esperti di AWS e ha appreso che Amazon SageMaker HyperPod, un'infrastruttura appositamente creata per l'addestramento distribuito su larga scala, poteva soddisfare le sue esigenze di addestramento di modelli su larga scala. Amazon SageMaker HyperPod è preconfigurato con le librerie di addestramento distribuite di Amazon SageMaker ottimizzate per eseguire in parallelo dati personalizzati altamente scalabili ed economici e modellare processi di addestramento di deep learning paralleli a velocità di interconnessione superiori a 1.600 Gbps. Amazon SageMaker HyperPod previene inoltre le interruzioni dell'addestramento del modello di fondazione salvando periodicamente i checkpoint. Quando si verifica un guasto hardware durante l'addestramento, il servizio AWS rileva automaticamente il guasto, ripara o sostituisce l'istanza difettosa e riprende l'addestramento dall'ultimo checkpoint salvato. Ciò facilita l'addestramento ininterrotto del modello per settimane o mesi in un ambiente distribuito.

AWS ha offerto a Perplexity una prova di un mese per dimostrare le capacità di addestramento distribuito, durante la quale l'azienda ha scoperto i vantaggi dell'utilizzo di AWS. Ad esempio, Perplexity ha ottenuto una maggiore flessibilità nell'allocazione delle risorse e ha iniziato a utilizzare diversi tipi di istanze Amazon EC2 e GPU personalizzate per attività specifiche.

Per addestrare i modelli ML, Perplexity richiede grandi quantità di memoria in modo da poter eseguire enormi quantità di dati e memorizzare diversi gradienti. Ha quindi scelto le istanze P4de di Amazon EC2 che forniscono le massime prestazioni per l'addestramento ML e le applicazioni di calcolo ad alte prestazioni, per eseguire processi di addestramento, soddisfacendo i requisiti di memoria e larghezza di banda. Grazie ad Amazon SageMaker HyperPod, Perplexity trasferisce i dati tra diverse GPU molto più velocemente, il che ha ridotto i tempi di addestramento dei modelli di ML fino al 40%.

"Le librerie parallele integrate di dati e modelli di Amazon SageMaker HyperPod ci hanno aiutato a ottimizzare i tempi di addestramento sulle GPU e a raddoppiarne il throughput", ha affermato Srinivas. "Di conseguenza, i nostri esperimenti di addestramento possono ora essere eseguiti due volte più velocemente, il che significa che gli sviluppatori possono iterare più rapidamente, accelerando lo sviluppo di nuove esperienze di IA generativa per i nostri clienti. Poiché Amazon SageMaker HyperPod monitora automaticamente lo stato del cluster e corregge i guasti della GPU, i nostri sviluppatori hanno la possibilità di concentrarsi sulla creazione di modelli anziché dedicare tempo alla gestione e all'ottimizzazione dell'infrastruttura sottostante".

Perplexity mira a fornire risposte rapide e accurate alle domande degli utenti, il che richiede capacità di inferenza quasi in tempo reale. Utilizzando le istanze P5 di Amazon EC2, che offrono le istanze basate su GPU dalle prestazioni più elevate per applicazioni di deep learning, Perplexity può generare risposte con un throughput molto più elevato rispetto a prima. In effetti, l'azienda è in grado di gestire periodi di picco con diecimila utenti simultanei e oltre centomila query all'ora senza compromettere la latenza o influire sull'esperienza dell'utente. Perplexity ospita anche il modello Llama 2 disponibile al pubblico su istanze P5 di Amazon EC2 e utilizza Amazon SageMaker HyperPod per ottimizzare il modello open source utilizzando i propri dati. L'ottimizzazione dei modelli aiuta a migliorare l'accuratezza e la pertinenza delle risposte, adattando il modello alle esigenze del motore di risposta di Perplexity.