Perplexity développe un moteur de recherche avancé en utilisant Claude 3 d’Anthropic dans Amazon Bedrock

Lancée en décembre 2022, Perplexity AI peut évaluer le contexte et personnaliser les interactions en apprenant les intérêts et les préférences d’un utilisateur au fil du temps. Les utilisateurs gagnent également en visibilité sur la crédibilité des informations, car chaque résultat de recherche s’accompagne d’une liste de sources.

Depuis la création de son service d'API public, Perplexity utilise Amazon SageMaker, un service entièrement géré qui regroupe un large éventail d'outils pour un apprentissage automatique (ML) performant et peu coûteux pour pratiquement tous les cas d'utilisation. Après avoir évalué plusieurs fournisseurs de cloud, Perplexity a choisi AWS pour l’entraînement et l’inférence de ses modèles, en complément de son utilisation d’Amazon Bedrock. « En utilisant AWS, nous avons eu accès à des GPU et avons bénéficié de l’expertise technique de l’équipe proactive d’AWS », explique Denis Yarats, directeur technique chez Perplexity. L'entreprise a testé des types d'instances provenant d'Amazon Elastic Compute Cloud (Amazon EC2), qui propose un large choix de services de calcul, de mise en réseau jusqu'à 3 200 Gbit/s et de stockage spécialement conçus pour optimiser les performances tarifaires des projets de machine learning. Plus précisément, Perplexity utilise des instances Amazon EC2 P4de, qui sont alimentées par des GPU NVIDIA A100 et sont optimisées pour la formation distribuée, afin d'affiner les FM open source.

Grâce à Amazon Bedrock, les utilisateurs de Perplexity AI peuvent sélectionner un modèle de la famille de modèles Claude 3 proposée par Anthropic, un partenaire AWS. Les modèles Claude 3 présentent des connaissances spécialisées, une précision et une compréhension contextuelle en plus de performances de pointe. « L’utilisation d’un service performant tel qu’Amazon Bedrock signifie que nous exploitons les puissants modèles d’Anthropic de manière à permettre à notre équipe de maintenir efficacement la fiabilité et la latence de notre produit », indique William Zhang, membre de l’équipe technique de Perplexity.

Claude fournit des informations en langage naturel et concis, ce qui permet aux utilisateurs d’obtenir rapidement des réponses claires. Les utilisateurs peuvent également télécharger et analyser rapidement des documents volumineux, car les modèles Claude 3 comportent une fenêtre contextuelle de 200 000 jetons, soit l’équivalent d’environ 150 000 mots ou de plus de 500 pages. « La simplicité d’utilisation est essentielle pour intégrer un élément à notre produit », explique M. Zhang. « L’utilisation de Claude 3 sur Amazon Bedrock a été une expérience formidable pour les développeurs. »

Perplexity vise à ce que chaque résultat de recherche soit précis et utile en réduisant les hallucinations, c’est-à-dire les résultats inexacts des LLM. Le modèle précédent d’Anthropic, Claude 2.1, avait déjà réduit de moitié leur taux d’hallucinations. Anthropic a encore amélioré la réduction des hallucinations et la précision avec la famille Claude 3, qui a encore amélioré la précision par rapport à Claude 2.1. Alors qu’Anthropic s’efforce de réduire à zéro les hallucinations des modèles, Perplexity fait appel à des annotateurs humains pour fournir à ses utilisateurs des informations précises, sûres et dignes de confiance. En outre, Perplexity bénéficie de l'engagement d'Anthropic et d'AWS en faveur d'une IA responsable. « Nous apprécions le fait qu’Amazon Bedrock dispose de filtres de contenu intégrés qui nous alertent lorsque des personnes tentent d’utiliser notre solution à des fins non prévues », déclare Aarash Heydari, ingénieur de l’infrastructure en cloud chez Perplexity. En tant qu’entreprise de sécurité et de recherche, Anthropic est leader du marché dans la lutte contre les « jailbreaks », c’est-à-dire les tentatives de générer des réponses nuisibles ou d’utiliser des modèles de manière abusive.

Perplexity continue également de peaufiner d’autres modèles sur son infrastructure optimisée par AWS. En août 2023, Perplexity est devenu l'un des premiers testeurs bêta d'Amazon SageMaker HyperPod, qui élimine les tâches indifférenciées liées à la création et à l'optimisation de l'infrastructure de machine learning pour la formation des FM. Les ingénieurs de Perplexity ont travaillé avec les architectes de solutions AWS pour créer une infrastructure évolutive révolutionnaire qui répartit automatiquement les charges de travail de formation sur des instances Amazon EC2 P4de accélérées et les traite en parallèle. Amazon SageMaker HyperPod est préconfiguré avec les bibliothèques de formation distribuées d’Amazon SageMaker, ce qui améliore encore les performances. « La vitesse du débit d’entraînement a doublé », indique M. Heydari. « L’infrastructure était simple à gérer et les pannes matérielles ont été considérablement réduites. »

Pour en savoir plus sur la façon dont Perplexity accélère de 40 % la formation sur les modèles de base grâce à Amazon SageMaker HyperPod, consultez cette étude de cas.

Après 2 mois, Perplexity a publié une API publique afin que les utilisateurs puissent accéder à ses modèles en ligne propriétaires, Sonar Small et Medium, qui sont hébergés sur AWS et affinés à l'aide de Mistral 7B et Mixtral 8x7B. Ces LLM en ligne donnent la priorité aux connaissances issues d’Internet par rapport aux données d’entraînement pour répondre aux requêtes urgentes. « Notre infrastructure d’entraînement et d’inférence de modèles est entièrement optimisée par Amazon SageMaker HyperPod, ce qui a été un facteur déterminant pour nous dans le choix d’AWS », explique M. Heydari. « Amazon SageMaker HyperPod a joué un rôle déterminant dans notre innovation en matière d’IA. »

Perplexity AI continue d’offrir aux utilisateurs une sélection de modèles qui répondent à leurs besoins, en accédant automatiquement aux itérations récentes de Claude et en favorisant la disponibilité de nouvelles fonctionnalités pour les utilisateurs.

« Sur AWS, nous disposons d’une expérience extrêmement fiable avec tous les éléments d’infrastructure qui doivent être combinés pour que notre produit complexe fonctionne », déclare M. Heydari. « Nous restons à la pointe des capacités d’IA, utilisons des modèles puissants et sommes ouverts à tout ce qui peut améliorer notre expérience utilisateur. »