Témoignages de clients / Logiciels et Internet/États-Unis

2024
Logo Perplexity

Perplexity accélère l’entraînement des modèles de fondation de 40 % grâce à Amazon SageMaker HyperPod

Découvrez comment la start-up d’IA générative Perplexity effectue l’entraînement des modèles plus rapidement et plus efficacement à l’aide d’Amazon SageMaker HyperPod.

Jusqu’à 40 % de réduction

du temps d’entraînement

Plus de 100 000 requêtes par heure

prises en charge

Maintient

une faible latence 

Optimise

l’expérience de l’utilisateur

Présentation

En tant que force transformatrice, l’intelligence artificielle (IA) générative englobe des algorithmes de machine learning (ML) capables de générer de nouveaux contenus, des images au texte, en apprenant à partir de grandes quantités de données. Perplexity, une entreprise qui développe actuellement l’un des premiers moteurs de réponses conversationnelles au monde, utilise la puissance de l’IA générative pour aider les utilisateurs à trouver des renseignements pertinents.

Confrontée au défi d’optimiser l’exactitude et la précision de ses modèles, Perplexity avait besoin d’une solution robuste capable de gérer ses exigences de calcul. Dans le but d’améliorer l’expérience utilisateur, Perplexity s’est tournée vers Amazon Web Services (AWS). En utilisant l’infrastructure avancée du machine learning, les bibliothèques d’entraînement et les outils d’inférence d’AWS, Perplexity a acquis la flexibilité, les performances et l’efficacité nécessaires pour répondre aux besoins d’une base d’utilisateurs mondiale à grande échelle.

Opportunité | Utilisation des services AWS pour optimiser l’expérience utilisateur

Contrairement aux moteurs de recherche traditionnels, qui diffusent souvent des publicités et des mots clés spécifiques par rapport aux résultats pertinents, la solution de Perplexity est optimisée pour connecter les utilisateurs aux informations qu’ils recherchent. Environ 10 millions d’utilisateurs actifs par mois font confiance à Perplexity pour apprendre de nouveaux concepts, résoudre des problèmes et trouver des réponses.

« À l’aide de grands modèles de langage, nous pouvons regrouper les capacités de compréhension et de raisonnement du langage humain dans un seul modèle. Cela, combiné aux informations disponibles sur Internet, nous a aidés à créer notre moteur de réponses », affirme Aravind Srinivas, PDG et cofondateur de Perplexity. « Nous avons essentiellement orchestré ensemble un index de recherche traditionnel (moteur de faits) et un moteur de raisonnement (grand modèle de langage) pour créer le premier moteur de réponses conversationnelles au monde. »

Depuis son lancement en 2022, Perplexity utilise les principaux services AWS tels qu’Amazon Elastic Compute Cloud (Amazon EC2), qui fournit une capacité de calcul sécurisée et redimensionnable pour pratiquement toutes les charges de travail, pour alimenter la dorsal, le front-end et les composants de recherche de son produit. À mesure que Perplexity gagnait en maturité et que le nombre de ses modèles de ML augmentait, elle avait besoin d’une puissance de calcul massive pour répondre aux besoins des utilisateurs.

Perplexity s’est entretenue avec des experts AWS et a découvert qu’Amazon SageMaker HyperPod, une infrastructure spécialement conçue pour l’entraînement distribué à grande échelle, pouvait répondre à ses besoins en matière d’entraînement de modèles à grande échelle. Amazon SageMaker HyperPod est préconfiguré avec les bibliothèques d’entraînement distribué Amazon SageMaker, qui sont optimisées pour exécuter des tâches d’entraînement de deep learning en parallèle de données et de modèles personnalisés hautement évolutifs et rentables à des vitesses d’interconnexion supérieures à 1 600 Gbit/s. Amazon SageMaker HyperPod empêche également les interruptions de l’entraînement des modèles de fondation en enregistrant régulièrement les points de contrôle. Lorsqu’une panne matérielle survient pendant l’entraînement, le service AWS détecte automatiquement la panne, répare ou remplace l’instance défectueuse et reprend l’entraînement à partir du dernier point de contrôle enregistré. Cela facilite l’entraînement ininterrompu des modèles pendant des semaines ou des mois dans un environnement distribué.

kr_quotemark

Sur AWS, le pouvoir est entre les mains du client. Il n’y a aucune exigence concernant les services que vous devez utiliser. »

Aravind Srinivas
Directeur général et cofondateur, Perplexity

Solution | Réduction du temps d’entraînement des modèles jusqu’à 40 % grâce à Amazon SageMaker HyperPod

AWS a proposé à Perplexity un mois d’essai pour montrer ses capacités d’entraînement distribué, durant lequel l’entreprise a pu découvrir les avantages de l’utilisation d’AWS. Par exemple, Perplexity a gagné en flexibilité dans l’allocation des ressources ; elle utilise différents types d’instances Amazon EC2 et des GPU adaptés à des tâches spécifiques.

Pour entraîner les modèles de ML, Perplexity a besoin de grandes quantités de mémoire, afin de pouvoir exécuter d’énormes quantités de données et stocker différents gradients. Elle a choisi les instances P4de Amazon EC2, qui offrent les meilleures performances pour l’entraînement ML et les applications informatiques hautes performances, pour exécuter les tâches d’entraînement, en respectant les exigences en matière de mémoire et de bande passante. En utilisant Amazon SageMaker HyperPod, Perplexity transfère les données entre différents GPU beaucoup plus rapidement, ce qui a permis de réduire le temps d’entraînement des modèles de ML de 40 %.

« Les bibliothèques parallèles de données et de modèles intégrées à Amazon SageMaker HyperPod nous ont permis d’optimiser le temps d’entraînement sur les GPU et de doubler le débit d’entraînement », explique Aravind Srinivas. « Par conséquent, nos expériences d’entraînement peuvent désormais s’exécuter deux fois plus vite, ce qui signifie que nos développeurs peuvent itérer plus rapidement, accélérant ainsi le développement de nouvelles expériences d’IA générative pour nos clients. Amazon SageMaker HyperPod surveillant l’état des clusters et remédiant aux défaillances des GPU automatiquement, nos développeurs peuvent se concentrer sur l’élaboration de modèles au lieu de passer du temps à gérer et à optimiser l’infrastructure sous-jacente. »

Perplexity vise à fournir des réponses rapides et précises aux requêtes des utilisateurs, ce qui nécessite des capacités d’inférence en temps quasi réel. Grâce aux instances P5 Amazon EC2, les instances basées sur GPU les plus performantes pour les applications de deep learning, Perplexity peut générer des réponses à un débit bien plus élevé qu’auparavant. En fait, l’entreprise peut gérer des périodes de pointe avec 10 000 utilisateurs simultanés et plus de 100 000 requêtes par heure sans compromettre la latence ni affecter l’expérience utilisateur. Perplexity héberge également le modèle Llama 2, accessible au public sur les instances P5 Amazon EC2, et utilise Amazon SageMaker HyperPod pour affiner le modèle open source à l’aide de ses propres données. Le réglage affiné des modèles permet d’améliorer la précision et la pertinence des réponses, en adaptant le modèle aux besoins du moteur de réponses de Perplexity.

Résultat | Progression de l’IA générative à l’aide de l’infrastructure AWS et des services d’IA et de ML

Forte de ses succès, Perplexity est sur le point d’innover en matière d’IA générative. Dans le cadre de sa stratégie tournée vers l’avenir, la société va expérimenter AWS Trainium, un accélérateur d’entraînement ML à haute performance, afin d’augmenter encore le débit d’entraînement. Perplexity a également lancé une API pour permettre aux utilisateurs d’accéder à ses grands modèles de langage, qui s’exécute entièrement sur AWS et a été optimisée par Amazon SageMaker HyperPod.

Afin d’élargir sa base de connaissances et de fournir des réponses plus précises à ses utilisateurs, Perplexity a également adopté Amazon Bedrock, un service entièrement géré qui propose un choix de modèles de base hautement performants issus des principales sociétés d’IA avec une API unique. Par exemple, Perplexity a commencé à utiliser Claude 2 via Amazon Bedrock pour intégrer des fonctionnalités avancées de codage, de mathématiques et de raisonnement à son service.

« Sur AWS, le pouvoir est entre les mains du client », déclare Aravind Srinivas. « Il n’y a aucune exigence concernant les services que vous devez utiliser. L’équipe AWS nous dit toujours :‘Faites ce qu’il y a de mieux pour vos clients. Faites ce qu’il y a de mieux pour votre entreprise.’ Nous aimons vraiment le fait qu’AWS cherche la satisfaction du client. »

À propos de Perplexity

Perplexity développe un moteur fonctionnel de réponses conversationnelles optimisé pour aider les utilisateurs à trouver des informations plutôt que de stimuler les publicités et les mots clés.

Services AWS utilisés

Amazon SageMaker HyperPod

AmazonSageMaker HyperPod élimine les tâches fastidieuses liées à la création et à l’optimisation d’une infrastructure de machine learning (ML) pour l’entraînement des modèles de fondation (FM), réduisant la durée de l’entraînement jusqu’à 40 %.

En savoir plus »

Instances Amazon EC2 P5

Les instances Amazon Elastic Compute Cloud (Amazon EC2) P5, alimentées par les derniers GPU NVIDIA H100 Tensor Core, offrent les meilleures performances dans Amazon EC2 pour les applications de deep learning (DL) et de calcul haute performance (HPC).

En savoir plus »

Please apply the following: Instances Amazon EC2 P4de

Les instances P4de sont optimisées par 8 GPU NVIDIA A100 avec une mémoire GPU HBM2e haute performance de 80 Go, soit deux fois plus de GPU que nos instances P4d actuelles.

En savoir plus »

Amazon Bedrock

Amazon Bedrock est un service entièrement géré qui propose un choix de systèmes d’IA à usage général (FM) haute performance provenant de grandes sociétés d’IA comme AI21 Labs, Anthropic, Cohere, Meta, Stability AI et Amazon via une seule API, ainsi qu’un large éventail de fonctionnalités dont vous avez besoin pour créer des applications d’IA générative dans le respect de la sécurité, de la confidentialité et de l’IA responsable.

En savoir plus »

Plus de témoignages de clients du secteur des logiciels et d’Internet

Showing results: 1-4
Total results: 821

Aucun élément trouvé 

  • United Kingdom

    Bringing Data Analytics to Customer Cloud Environments Using AWS with Panalgo

    Panalgo uses AWS to provide companies in the life sciences with greater control over their data. Panalgo, a Norstella company, makes healthcare analytics simple through its Instant Health Data software. The company chose to build a solution that customers can deploy directly within their cloud environments. Using AWS Fargate, Amazon EMR, and Amazon EMR Serverless, Panalgo worked alongside the AWS team to build a deployed offering that is flexible and scalable. With this solution, Panalgo’s customers will gain valuable insights quickly.
    2024
  • Italy

    Innovating Unified Communications Solutions Using AWS with Wildix | Case Study | AWS

    Learn how Wildix in the communications industry created x-hoppers for brick-and-mortar retailers using Amazon Transcribe.
    2024
  • United States

    Collaboration.Ai Achieves DoD Authorization in Less Than 90 Days, Saves $2 Million with Second Front, Chainguard, and AWS

    Collaboration.Ai, a leader in AI-driven innovation management software, sought to expand into the US federal government sector, particularly the Department of Defense (DoD), with its end-to-end CrowdVector innovation management platform. Obtaining the required Authority to Operate (ATO) on DoD networks—a complex, lengthy, and costly process—posed a significant challenge for the startup. By engaging with AWS Partner Second Front, a member of the AWS Global Security & Compliance Acceleration (GSCA) program and using its Game Warden DevSecOps platform on AWS GovCloud (US), Collaboration.Ai secured a Certificate to Field (CTF) for DoD networks in less than 90 days. The deployment was accelerated further by using a custom registry of secure, minimal container images from AWS Partner Chainguard. This approach saved nearly two years of work and $2 million in compliance costs, swiftly opening access to the US federal government market.

    2025
  • Israel

    Reducing Overall Costs by 50% and Improving Performance Using AWS Graviton with Logz.io

    Learn how Logz.io, a provider of AI-powered observability, improved efficiency and performance using AWS Graviton.
    2025
1 206

Commencez à utiliser Amazon SageMaker dans le cadre de la version gratuite

Dans le cadre de l’offre gratuite d’AWS, vous pouvez commencer à utiliser Amazon SageMaker gratuitement. Votre essai gratuit de deux mois commence à partir du premier mois où vous créez votre première ressource SageMaker.