Testimonianze dei clienti / Software e Internet / Stati Uniti 

2024
Logo Perplexity

Perplexity crea un motore di ricerca avanzato utilizzando Claude 3 di Anthropic in Amazon Bedrock

Scopri come il motore di ricerca basato sull'IA di Perplexity utilizza Amazon Bedrock e Claude 3 di Anthropic per fornire risposte accurate e complete alle domande degli utenti.

Scarica

la gestione dell'infrastruttura di ML

Fornisce

diverse opzioni LLM agli utenti

Semplifica

l'accesso a modelli aperti e proprietari

Scala

per contenere modelli aggiuntivi

Panoramica

Perplexity voleva offrire una potente alternativa al tradizionale motore di ricerca online, quindi ha creato un aiutante di ricerca interattivo che fornisce risposte personalizzate e colloquiali supportate da un elenco selezionato di fonti. Gli utenti scelgono tra diversi modelli linguistici di grandi dimensioni (LLM) ad alte prestazioni per disporre di informazioni pertinenti, accurate e comprensibili.

Per semplificare l'accesso a modelli proprietari, come il popolare LLM all'avanguardia Claude di Anthropic, e per eseguire il fine-tuning degli LLM open source, Perplexity aveva bisogno di una potente infrastruttura globale per il motore di ricerca, Perplexity AI. L'azienda ha scelto di creare Perplexity AI su Amazon Web Services (AWS), che fornisce una vasta gamma di servizi per la sicurezza e la privacy di livello enterprise, nonché accesso a modelli di fondazione (FM) leader del settore e applicazioni basate sull'intelligenza artificiale (IA) generativa. Oltre a eseguire i propri modelli su AWS, Perplexity offre agli utenti l'accesso a Claude tramite Amazon Bedrock, un servizio completamente gestito che propone una scelta di FM ad alte prestazioni di aziende leader nel settore dell'IA come AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI e Amazon tramite un'unica API, oltre a un'ampia serie di funzionalità di cui le organizzazioni hanno bisogno per creare applicazioni di IA generativa, utilizzando l'IA in modo sicuro, riservato e responsabile.

AWS re:Invent 2023 - Keynote per i clienti Perplexity | Eventi AWS

Opportunità | Creazione di un motore di ricerca conversazionale con AWS

Lanciata a dicembre 2022, Perplexity AI può valutare il contesto e personalizzare le interazioni imparando gli interessi e le preferenze di un utente nel tempo. Gli utenti ottengono inoltre visibilità sulla credibilità delle informazioni perché ogni risultato di ricerca è accompagnato da un elenco di fonti.

Per il servizio API pubblico, Perplexity utilizza da sempre Amazon SageMaker, un servizio completamente gestito che riunisce un ampio set di strumenti per il machine learning (ML) ad alte prestazioni e a basso costo praticamente per qualsiasi caso d'uso. Dopo aver valutato diversi provider di servizi cloud, Perplexity ha scelto AWS per l'addestramento e l'inferenza dei modelli per integrare l'utilizzo di Amazon Bedrock. “Utilizzando AWS, abbiamo avuto accesso alle unità di elaborazione grafica (GPU) e abbiamo beneficiato dell'esperienza tecnica del team proattivo di AWS”, afferma Denis Yarats, Chief Technology Officer presso Perplexity. L'azienda ha testato i tipi di istanze di Amazon Elastic Compute Cloud (Amazon EC2), che offre un'ampia scelta di servizi di elaborazione, rete fino a 3.200 Gbps e archiviazione creati appositamente per ottimizzare il rapporto qualità prezzo per i progetti di ML. In particolare, per eseguire il fine-tuning degli FM open source, Perplexity utilizza le istanze P4de di Amazon EC2, alimentate da GPU NVIDIA A100 e ottimizzate per l'addestramento distribuito.

Tramite Amazon Bedrock, gli utenti di Perplexity AI possono selezionare un modello dalla famiglia di modelli Claude 3 di Anthropic, partner AWS. I modelli Claude 3 offrono conoscenze specialistiche, accuratezza e comprensione del contesto oltre a prestazioni all'avanguardia. “Utilizzando un servizio ad alte prestazioni come Amazon Bedrock, attingiamo ai potenti modelli di Anthropic in modo da consentire al nostro team di garantire efficacemente l'affidabilità e la latenza del nostro prodotto” spiega William Zhang, membro del team tecnico presso Perplexity.

kr_quotemark

Utilizzando un servizio ad alte prestazioni come Amazon Bedrock, attingiamo ai potenti modelli di Anthropic in modo da consentire al nostro team di garantire efficacemente l'affidabilità e la latenza del nostro prodotto”.

William Zhang
Membro del team tecnico presso Perplexity

Soluzione | Migliorare l'esperienza di ricerca responsabile e accurata utilizzando Amazon Bedrock e Claude 3 di Anthropic

Grazie al fatto che Claude fornisce informazioni in un linguaggio conciso e naturale, gli utenti arrivano rapidamente a risposte chiare. Gli utenti hanno anche la possibilità di caricare e analizzare rapidamente documenti di grandi dimensioni perché i modelli Claude 3 presentano una finestra contestuale di 200.000 token, l'equivalente di circa 150.000 parole o più di 500 pagine. “La semplicità è essenziale per rendere qualcosa parte del nostro prodotto”, afferma Zhang. “L'utilizzo di Claude 3 su Amazon Bedrock ha contribuito ad una grande esperienza per gli sviluppatori”.

Perplexity mira a rendere accurato e utile ogni risultato di ricerca riducendo le allucinazioni, ossia i risultati imprecisi degli LLM. Il modello precedente di Anthropic, Claude 2.1, aveva già dimezzato il tasso di allucinazione, ma Anthropic ha apportato nuovi miglioramenti nella riduzione delle allucinazioni e nell'aumento della precisione con la famiglia Claude 3, perfezionando ancora di più l'accuratezza rispetto a Claude 2.1. Mentre Anthropic lavora per azzerare le allucinazioni dei modelli, Perplexity utilizza annotatori umani per fornire ulteriormente agli utenti informazioni accurate, sicure e affidabili. Inoltre, Perplexity trae vantaggio dall'impegno di Anthropic e AWS nell'ambito dell'. “Apprezziamo che Amazon Bedrock abbia filtri di contenuto integrati per avvisarci quando le persone cercano di utilizzare la nostra soluzione per scopi non appropriati”, afferma Aarash Heydari, Cloud Infrastructure Engineer presso Perplexity. Anthropic, che si occupa essenzialmente di sicurezza e ricerca, è leader di mercato nella lotta contro i “jailbreak”, ossia i tentativi di generare risposte dannose o di utilizzare in modo improprio i modelli.

Perplexity continua inoltre a eseguire il fine-tuning di altri modelli sull'infrastruttura basata su AWS. Nell'agosto 2023, Perplexity è diventato uno dei primi beta tester di Amazon SageMaker HyperPod, che elimina i carichi indifferenziati necessari per lo sviluppo e l'ottimizzazione di infrastrutture ML per l'addestramento degli FM. Gli ingegneri di Perplexity hanno collaborato con i solutions architect di AWS per creare un'infrastruttura scalabile rivoluzionaria che suddivide automaticamente i carichi di lavoro di addestramento tra istanze Amazon EC2 P4de accelerate, elaborandoli in parallelo. Amazon SageMaker HyperPod è preconfigurato con le librerie di addestramento distribuito di Amazon SageMaker, migliorando ulteriormente le prestazioni. “La velocità dell'addestramento è raddoppiata”, afferma Heydari. “L'infrastruttura era semplice da gestire e i guasti legati all'hardware si riducevano drasticamente”.

Leggi questo caso di studio per scoprire come Perplexity accelera l'addestramento degli FM del 40% con Amazon SageMaker HyperPod.

Dopo 2 mesi, Perplexity ha rilasciato un'API pubblica in modo che gli utenti possano accedere ai modelli online proprietari, Sonar Small e Medium, ospitati su AWS e per cui è stato eseguito il fine-tuning utilizzando Mistral 7B e Mixtral 8x7B. Questi LLM online danno la priorità alle conoscenze provenienti da Internet rispetto ai dati di addestramento per rispondere a domande sensibili in termini di tempo. “La nostra infrastruttura per l'addestramento e l'inferenza dei modelli è tutta basata su Amazon SageMaker HyperPod, fattore fondamentale per noi nella scelta di AWS”, afferma Heydari. “Amazon SageMaker HyperPod è stato determinante nel guidare la nostra innovazione nell'IA”.

Perplexity AI continua a offrire agli utenti una selezione di modelli adatti a qualsiasi esigenza, accedendo automaticamente alle recenti iterazioni di Claude e favorendo la disponibilità di nuove funzionalità.

“Su AWS abbiamo un'esperienza altamente affidabile con tutti gli elementi dell'infrastruttura necessari per far funzionare il nostro complesso prodotto”, spiega Heydari. “Siamo all'avanguardia nelle capacità di IA, utilizziamo modelli potenti e siamo aperti a tutto ciò che migliora l'esperienza utente”.

Informazioni su Perplexity

Perplexity AI è un motore di ricerca e chatbot basato sull'IA che utilizza tecnologie avanzate come l'elaborazione del linguaggio naturale e Amazon Bedrock per fornire risposte accurate e complete alle domande di oltre 10 milioni di utenti al mese.

Servizi AWS utilizzati

Amazon Bedrock

Amazon Bedrock è un servizio completamente gestito che offre una scelta di FM ad alte prestazioni delle principali aziende di IA, come AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI e Amazon, tramite un'unica API, insieme ad un'ampia gamma di funzionalità necessarie per creare applicazioni di IA generativa, utilizzando l'IA in modo sicuro, riservato e responsabile.

Ulteriori informazioni »

Amazon SageMaker HyperPod

Amazon SageMaker HyperPod rimuove i carichi indifferenziati necessari per lo sviluppo e l'ottimizzazione di infrastrutture di machine learning (ML) per l'addestramento di modelli di fondazione (FM), riducendo il tempo di addestramento fino al 40%.

Ulteriori informazioni »

Amazon EC2

Amazon Elastic Compute Cloud (Amazon EC2) offre la piattaforma di elaborazione più ampia e approfondita, con oltre 750 istanze e la selezione dei più recenti processori, sistemi di archiviazione, reti, sistemi operativi e modelli di acquisto per aiutarti a soddisfare al meglio le esigenze del carico di lavoro.

Ulteriori informazioni »

Altre testimonianze dei clienti relative all'IA generativa

Showing results: 1-4
Total results: 234

nessun elemento trovato 

1 59

Inizia

Organizzazioni di tutte le dimensioni in tutti i settori trasformano il proprio business e realizzano le loro missioni ogni giorno utilizzando AWS. Contatta i nostri esperti e inizia subito il tuo percorso verso il cloud AWS.