Perplexity crea un motore di ricerca avanzato utilizzando Claude 3 di Anthropic in Amazon Bedrock

Lanciata a dicembre 2022, Perplexity AI può valutare il contesto e personalizzare le interazioni imparando gli interessi e le preferenze di un utente nel tempo. Gli utenti ottengono inoltre visibilità sulla credibilità delle informazioni perché ogni risultato di ricerca è accompagnato da un elenco di fonti.

Fin dall'inizio del suo servizio API pubblico, Perplexity utilizza Amazon SageMaker, un servizio completamente gestito che riunisce un ampio set di strumenti per l'apprendimento automatico (ML) ad alte prestazioni e a basso costo praticamente per qualsiasi caso d'uso. Dopo aver valutato diversi provider di servizi cloud, Perplexity ha scelto AWS per l'addestramento e l'inferenza dei modelli per integrare l'utilizzo di Amazon Bedrock. “Utilizzando AWS, abbiamo avuto accesso alle unità di elaborazione grafica (GPU) e abbiamo beneficiato dell'esperienza tecnica del team proattivo di AWS”, afferma Denis Yarats, Chief Technology Officer presso Perplexity. L'azienda ha testato i tipi di istanze di Amazon Elastic Compute Cloud (Amazon EC2), che offre un'ampia scelta di servizi di elaborazione, rete fino a 3.200 Gbps e storage creati appositamente per ottimizzare il rapporto prezzo/prestazioni per i progetti ML. In particolare, Perplexity utilizza le istanze P4de di Amazon EC2, alimentate da GPU NVIDIA A100 e ottimizzate per la formazione distribuita, per ottimizzare le FM open source.

Tramite Amazon Bedrock, gli utenti di Perplexity AI possono selezionare un modello dalla famiglia di modelli Claude 3 di Anthropic, un partner AWS. I modelli Claude 3 offrono conoscenze specialistiche, accuratezza e comprensione del contesto oltre a prestazioni all'avanguardia. “Utilizzando un servizio ad alte prestazioni come Amazon Bedrock, attingiamo ai potenti modelli di Anthropic in modo da consentire al nostro team di garantire efficacemente l'affidabilità e la latenza del nostro prodotto” spiega William Zhang, membro del team tecnico presso Perplexity.

Grazie al fatto che Claude fornisce informazioni in un linguaggio conciso e naturale, gli utenti arrivano rapidamente a risposte chiare. Gli utenti hanno anche la possibilità di caricare e analizzare rapidamente documenti di grandi dimensioni perché i modelli Claude 3 presentano una finestra contestuale di 200.000 token, l'equivalente di circa 150.000 parole o più di 500 pagine. “La semplicità è essenziale per rendere qualcosa parte del nostro prodotto”, afferma Zhang. “L'utilizzo di Claude 3 su Amazon Bedrock ha contribuito ad una grande esperienza per gli sviluppatori”.

Perplexity mira a rendere accurato e utile ogni risultato di ricerca riducendo le allucinazioni, ossia i risultati imprecisi degli LLM. Il modello precedente di Anthropic, Claude 2.1, aveva già dimezzato il tasso di allucinazione, ma Anthropic ha apportato nuovi miglioramenti nella riduzione delle allucinazioni e nell'aumento della precisione con la famiglia Claude 3, perfezionando ancora di più l'accuratezza rispetto a Claude 2.1. Mentre Anthropic lavora per azzerare le allucinazioni dei modelli, Perplexity utilizza annotatori umani per fornire ulteriormente agli utenti informazioni accurate, sicure e affidabili. Inoltre, Perplexity trae vantaggio dall'impegno di Anthropic e AWS per un'IA responsabile. “Apprezziamo che Amazon Bedrock abbia filtri di contenuto integrati per avvisarci quando le persone cercano di utilizzare la nostra soluzione per scopi non appropriati”, afferma Aarash Heydari, Cloud Infrastructure Engineer presso Perplexity. Anthropic, che si occupa essenzialmente di sicurezza e ricerca, è leader di mercato nella lotta contro i “jailbreak”, ossia i tentativi di generare risposte dannose o di utilizzare in modo improprio i modelli.

Perplexity continua inoltre a eseguire il fine-tuning di altri modelli sull'infrastruttura basata su AWS. Nell'agosto 2023, Perplexity è diventato uno dei primi beta tester di Amazon SageMaker HyperPod, che elimina l'onere indifferenziato legato alla creazione e all'ottimizzazione dell'infrastruttura ML per la formazione degli FM. Gli ingegneri di Perplexity hanno collaborato con i solutions architect di AWS per creare un'infrastruttura scalabile rivoluzionaria che suddivide automaticamente i carichi di lavoro di addestramento tra istanze Amazon EC2 P4de accelerate, elaborandoli in parallelo. Amazon SageMaker HyperPod è preconfigurato con le librerie di addestramento distribuito di Amazon SageMaker, migliorando ulteriormente le prestazioni. “La velocità dell'addestramento è raddoppiata”, afferma Heydari. “L'infrastruttura era semplice da gestire e i guasti legati all'hardware si riducevano drasticamente”.

Per saperne di più su come Perplexity accelera il training dei modelli base del 40% con Amazon SageMaker HyperPod, leggi questo case study.

Dopo 2 mesi, Perplexity ha rilasciato un'API pubblica in modo che gli utenti possano accedere ai suoi modelli online proprietari, Sonar Small and Medium, ospitati su AWS e ottimizzati utilizzando Mistral 7B e Mixtral 8x7B. Questi LLM online danno la priorità alle conoscenze provenienti da Internet rispetto ai dati di addestramento per rispondere a domande sensibili in termini di tempo. “La nostra infrastruttura per l'addestramento e l'inferenza dei modelli è tutta basata su Amazon SageMaker HyperPod, fattore fondamentale per noi nella scelta di AWS”, afferma Heydari. “Amazon SageMaker HyperPod è stato determinante nel guidare la nostra innovazione nell'IA”.

Perplexity AI continua a offrire agli utenti una selezione di modelli adatti a qualsiasi esigenza, accedendo automaticamente alle recenti iterazioni di Claude e favorendo la disponibilità di nuove funzionalità.

“Su AWS abbiamo un'esperienza altamente affidabile con tutti gli elementi dell'infrastruttura necessari per far funzionare il nostro complesso prodotto”, spiega Heydari. “Siamo all'avanguardia nelle capacità di IA, utilizziamo modelli potenti e siamo aperti a tutto ciò che migliora l'esperienza utente”.