Témoignages de clients/Logiciels et Internet/États-Unis 

2024
Logo Perplexity

Perplexity développe un moteur de recherche avancé en utilisant Claude 3 d’Anthropic dans Amazon Bedrock

Découvrez comment le moteur de recherche de Perplexity, alimenté par l’IA, utilise Amazon Bedrock et Claude 3 d’Anthropic pour fournir des réponses précises et complètes aux requêtes des utilisateurs.

Décharge

la gestion de l’infrastructure de ML

Offre

plusieurs options LLM aux utilisateurs

Simplifie

l’accès à des modèles ouverts et propriétaires

Se met à l’échelle

pour accueillir des modèles supplémentaires

Présentation

Perplexity souhaitait offrir une alternative puissante au moteur de recherche en ligne traditionnel. Elle a donc créé un compagnon de recherche interactif qui fournit des réponses personnalisées et conversationnelles soutenues par une liste de sources sélectionnées. Les utilisateurs peuvent choisir parmi plusieurs grands modèles de langage (LLM) très performants pour obtenir des informations pertinentes, précises et compréhensibles.

Pour simplifier l’accès aux modèles propriétaires, tels que le célèbre LLM Claude d’Anthropic, et pour optimiser les LLM libres, Perplexity avait besoin d’une infrastructure globale puissante pour son moteur de recherche, Perplexity AI. L’entreprise a choisi de développer Perplexity AI sur Amazon Web Services (AWS), qui propose une large gamme de services offrant une sécurité et une confidentialité de niveau professionnel, l’accès à des modèles de fondation (FM) de pointe et des applications basées sur l’intelligence artificielle (IA) générative. En plus d’exécuter ses propres modèles sur AWS, Perplexity offre à ses utilisateurs l’accès à Claude par le biais d’Amazon Bedrock, un service entièrement géré qui offre un choix de FM performants provenant d’entreprises d’IA de premier plan telles que AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI et Amazon par le biais d’une API unique, ainsi qu’un large éventail de capacités dont les organisations ont besoin pour créer des applications d’IA générative avec sécurité, respect de la vie privée, et IA responsable.

AWS re:Invent 2023 – Discours client liminaire Perplexity | Événements AWS

Opportunité | Création d’un moteur de recherche conversationnel à l’aide d’AWS

Lancée en décembre 2022, Perplexity AI peut évaluer le contexte et personnaliser les interactions en apprenant les intérêts et les préférences d’un utilisateur au fil du temps. Les utilisateurs gagnent également en visibilité sur la crédibilité des informations, car chaque résultat de recherche s’accompagne d’une liste de sources.

Depuis la création de son service API public, Perplexity utilise Amazon SageMaker, un service entièrement géré qui rassemble un large éventail d’outils pour le machine learning (ML) à haute performance et à faible coût pour pratiquement tous les cas d’utilisation. Après avoir évalué plusieurs fournisseurs de cloud, Perplexity a choisi AWS pour l’entraînement et l’inférence de ses modèles, en complément de son utilisation d’Amazon Bedrock. « En utilisant AWS, nous avons eu accès à des GPU et avons bénéficié de l’expertise technique de l’équipe proactive d’AWS », explique Denis Yarats, directeur technique chez Perplexity. L’entreprise a testé des types d’instances provenant d’Amazon Elastic Compute Cloud (Amazon EC2), qui offre un large choix de services de calcul, de mise en réseau jusqu’à 3 200 Gbit/s et de stockage, conçus pour optimiser les performances en termes de prix pour les projets de ML. Plus précisément, Perplexity utilise des instances Amazon EC2 P4de, qui sont alimentées par des GPU NVIDIA A100 et sont optimisées pour l’entraînement distribué, afin d’affiner les FM open source.

Grâce à Amazon Bedrock, les utilisateurs de Perplexity AI peuvent sélectionner un modèle de la famille de modèles Claude 3 d’Anthropic, une partenaire AWS. Les modèles Claude 3 présentent des connaissances spécialisées, une précision et une compréhension contextuelle en plus de performances de pointe. « L’utilisation d’un service performant tel qu’Amazon Bedrock signifie que nous exploitons les puissants modèles d’Anthropic de manière à permettre à notre équipe de maintenir efficacement la fiabilité et la latence de notre produit », indique William Zhang, membre de l’équipe technique de Perplexity.

kr_quotemark

L’utilisation d’un service performant tel qu’Amazon Bedrock signifie que nous exploitons les puissants modèles d’Anthropic de manière à permettre à notre équipe de maintenir efficacement la fiabilité et la latence de notre produit. »

William Zhang
Membre de l’équipe technique, Perplexity

Solution | Améliorer une expérience de recherche responsable et précise en utilisant Amazon Bedrock et Claude 3 d’Anthropic

Claude fournit des informations en langage naturel et concis, ce qui permet aux utilisateurs d’obtenir rapidement des réponses claires. Les utilisateurs peuvent également télécharger et analyser rapidement des documents volumineux, car les modèles Claude 3 comportent une fenêtre contextuelle de 200 000 jetons, soit l’équivalent d’environ 150 000 mots ou de plus de 500 pages. « La simplicité d’utilisation est essentielle pour intégrer un élément à notre produit », explique M. Zhang. « L’utilisation de Claude 3 sur Amazon Bedrock a été une expérience formidable pour les développeurs. »

Perplexity vise à ce que chaque résultat de recherche soit précis et utile en réduisant les hallucinations, c’est-à-dire les résultats inexacts des LLM. Le modèle précédent d’Anthropic, Claude 2.1, avait déjà réduit de moitié leur taux d’hallucinations. Anthropic a encore amélioré la réduction des hallucinations et la précision avec la famille Claude 3, qui a encore amélioré la précision par rapport à Claude 2.1. Alors qu’Anthropic s’efforce de réduire à zéro les hallucinations des modèles, Perplexity fait appel à des annotateurs humains pour fournir à ses utilisateurs des informations précises, sûres et dignes de confiance. En outre, Perplexity bénéficie de l’engagement d’Anthropic et d’AWS en faveur d’une IA responsable. « Nous apprécions le fait qu’Amazon Bedrock dispose de filtres de contenu intégrés qui nous alertent lorsque des personnes tentent d’utiliser notre solution à des fins non prévues », déclare Aarash Heydari, ingénieur de l’infrastructure en cloud chez Perplexity. En tant qu’entreprise de sécurité et de recherche, Anthropic est leader du marché dans la lutte contre les « jailbreaks », c’est-à-dire les tentatives de générer des réponses nuisibles ou d’utiliser des modèles de manière abusive.

Perplexity continue également de peaufiner d’autres modèles sur son infrastructure optimisée par AWS. En août 2023, Perplexity est devenu un des premiers testeurs bêta d’Amazon SageMaker HyperPod , qui élimine les tâches fastidieuses liées à la création et à l’optimisation d’une infrastructure de ML pour l’entraînement des FM. Les ingénieurs de Perplexity ont travaillé avec les architectes de solutions AWS pour créer une infrastructure évolutive révolutionnaire qui répartit automatiquement les charges de travail de formation sur des instances Amazon EC2 P4de accélérées et les traite en parallèle. Amazon SageMaker HyperPod est préconfiguré avec les bibliothèques de formation distribuées d’Amazon SageMaker, ce qui améliore encore les performances. « La vitesse du débit d’entraînement a doublé », indique M. Heydari. « L’infrastructure était simple à gérer et les pannes matérielles ont été considérablement réduites. »

Pour en savoir plus sur la façon dont Perplexity accélère de 40 % l’apprentissage des modèles de fondation avec Amazon SageMaker HyperPod, consultez cette étude de cas.

Après deux mois, Perplexity a publié une API publique permettant aux utilisateurs d’accéder à ses modèles propriétaires en ligne, Sonar Small et Medium, qui sont hébergés sur AWS et optimisés à l’aide de Mistral 7B et Mixtral 8x7B. Ces LLM en ligne donnent la priorité aux connaissances issues d’Internet par rapport aux données d’entraînement pour répondre aux requêtes urgentes. « Notre infrastructure d’entraînement et d’inférence de modèles est entièrement optimisée par Amazon SageMaker HyperPod, ce qui a été un facteur déterminant pour nous dans le choix d’AWS », explique M. Heydari. « Amazon SageMaker HyperPod a joué un rôle déterminant dans notre innovation en matière d’IA. »

Perplexity AI continue d’offrir aux utilisateurs une sélection de modèles qui répondent à leurs besoins, en accédant automatiquement aux itérations récentes de Claude et en favorisant la disponibilité de nouvelles fonctionnalités pour les utilisateurs.

« Sur AWS, nous disposons d’une expérience extrêmement fiable avec tous les éléments d’infrastructure qui doivent être combinés pour que notre produit complexe fonctionne », déclare M. Heydari. « Nous restons à la pointe des capacités d’IA, utilisons des modèles puissants et sommes ouverts à tout ce qui peut améliorer notre expérience utilisateur. »

À propos de Perplexity

Perplexity AI est un moteur de recherche et un chatbot alimenté par l’IA qui utilise des technologies avancées telles que le traitement du langage naturel et Amazon Bedrock pour fournir des réponses précises et complètes aux requêtes de plus de 10 millions d’utilisateurs mensuels.

Services AWS utilisés

Amazon Bedrock

Amazon Bedrock est un service entièrement géré qui propose un choix de modèles de fondation (FM) très performants issus de grandes entreprises d’IA telles que AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI et Amazon via une seule API, ainsi qu’un large éventail de fonctionnalités dont vous avez besoin pour créer des applications d’IA générative dans le respect de la sécurité, de la confidentialité et de l’IA responsable.

En savoir plus »

Amazon SageMaker HyperPod

AmazonSageMaker HyperPod élimine les tâches fastidieuses liées à la création et à l’optimisation d’une infrastructure de machine learning (ML) pour l’entraînement des modèles de fondation (FM), réduisant la durée de l’entraînement jusqu’à 40 %.

En savoir plus »

Amazon EC2

Amazon Elastic Compute Cloud (Amazon EC2) offre la plateforme de calcul la plus variée et la plus complète, avec plus de 750 instances. Vous y avez accès au processeur, à la solution de stockage, aux réseaux, au système d’exploitation et au modèle d’achat les plus récents pour vous aider à répondre au mieux aux besoins de votre charge de travail.

En savoir plus »

Plus de témoignages de clients sur l'IA générative

Showing results: 1-4
Total results: 234

Aucun élément trouvé 

1 59

Démarrer

Les organisations de toutes tailles et de tous secteurs transforment leur activité et exécutent leurs missions au quotidien à l'aide d'AWS. Contactez nos experts et démarrez votre transition vers AWS dès aujourd'hui.