Kundenberichte / Software und Internet / USA

Perplexity baut fortgeschrittene Suchmaschine mit Claude 3 von Anthropic in Amazon Bedrock
Erfahren Sie, wie die KI-gestützte Suchmaschine von Perplexity mit Amazon Bedrock und Claude 3 von Anthropic präzise und umfassende Antworten auf Benutzeranfragen liefert.
Vereinfacht
die Verwaltung der ML-Infrastruktur
Bietet
mehrere LLM-Optionen für Benutzer
Vereinfacht
den Zugriff auf offene und proprietäre Modelle
Skaliert
und kann so weitere Modelle unterbringen
Übersicht
Perplexity wollte eine leistungsstarke Alternative zur herkömmlichen Online-Suchmaschine bieten und entwickelte daher einen interaktiven Suchbegleiter, der personalisierte und konversationelle Antworten liefert, die durch eine Liste kuratierter Quellen unterstützt werden. Benutzer können zwischen mehreren leistungsstarken großen Sprachmodellen (Large Language Models, LLMs) wählen, um relevante, genaue und verständliche Informationen zu erhalten.
Um den Zugriff auf proprietäre Modelle wie das beliebte, innovative LLM Claude von Anthropic zu vereinfachen und Open-Source-LLMs zu optimieren, benötigte Perplexity eine leistungsstarke globale Infrastruktur für seine Suchmaschine Perplexity AI. Das Unternehmen entschied sich dafür, Perplexity AI auf Amazon Web Services (AWS) aufzubauen. AWS bietet eine Vielzahl von Services, die Sicherheit und Datenschutz auf Unternehmensniveau, den Zugriff auf branchenführende Basismodelle (Foundation Models, FMs) und Anwendungen, die auf generativer künstlicher Intelligenz (KI) basieren. Perplexity betreibt nicht nur seine eigenen Modelle auf AWS, sondern bietet seinen Benutzern auch Zugriff auf Claude über Amazon Bedrock, einen vollständig verwalteten Service, der eine Auswahl an leistungsstarken FMs von führenden KI-Unternehmen wie AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI und Amazon über eine einzige API bietet, zusammen mit einer breiten Palette von Funktionen, die Unternehmen benötigen, um generative KI-Anwendungen mit Sicherheit, Datenschutz und verantwortungsvoller KI zu erstellen.
Gelegenheit | Aufbau einer dialogorientierten Suche mit AWS
Die im Dezember 2022 auf den Markt gebrachte Perplexity AI ist in der Lage, den Kontext zu erkennen und Interaktionen zu personalisieren, indem sie die Interessen und Vorlieben eines Benutzers im Laufe der Zeit lernt. Benutzer erhalten auch einen Einblick in die Zuverlässigkeit der Informationen, da jedes Suchergebnis von einer Liste an Quellen begleitet wird.
Seit der Einführung seines öffentlichen API-Service nutzt Perplexity Amazon SageMaker, einen vollständig verwalteten Service, der eine breite Palette von Tools für hochleistungsfähiges, kostengünstiges Machine Learning (ML) für praktisch jeden Anwendungsfall zusammenführt. Nach der Evaluierung mehrerer Cloud-Anbieter entschied sich Perplexity für AWS für das Training und die Inferenz seiner Modelle, um seine Nutzung von Amazon Bedrock zu ergänzen. „Mit AWS hatten wir Zugriff auf GPUs und profitierten von der technischen Expertise des proaktiven AWS-Teams“, sagt Denis Yarats, Chief Technology Officer bei Perplexity. Das Unternehmen testete Instances von Amazon Elastic Compute Cloud (Amazon EC2), die eine breite Auswahl an Datenverarbeitungs-, Netzwerk- und Speicherservices mit bis zu 3 200 Gbit/s bietet, die speziell für die Optimierung der Preisleistung von ML-Projekten entwickelt wurden. Perplexity nutzt insbesondere Amazon EC2 P4de Instances, die von NVIDIA A100 GPUs angetrieben werden und für verteiltes Training optimiert sind, um Open-Source-FMs zu optimieren.
Über Amazon Bedrock können Benutzer von Perplexity AI ein Modell aus der Claude-3-Modellfamilie von Anthropic, einem AWS-Partner, auswählen. Die Modelle von Claude 3 zeichnen sich neben modernster Leistung durch Expertenwissen, Genauigkeit und kontextuelles Verständnis aus. „Die Nutzung eines leistungsstarken Services wie Amazon Bedrock bedeutet, dass wir die leistungsstarken Modelle von Anthropic so nutzen, dass unser Team die Zuverlässigkeit und Latenz unseres Produkts effektiv aufrechterhalten kann.“, sagt William Zhang, Mitglied im Technikteam bei Perplexity.

„Die Nutzung eines leistungsstarken Services wie Amazon Bedrock bedeutet, dass wir die leistungsstarken Modelle von Anthropic so nutzen, dass unser Team die Zuverlässigkeit und Latenz unseres Produkts effektiv aufrechterhalten kann.“
William Zhang
Mitglied im Technikteam, Perplexity
Lösung | Verbesserung eines verantwortungsvollen und genauen Sucherlebnisses mit Amazon Bedrock und Claude 3 von Anthropic
Da Claude Informationen in prägnanter, natürlicher Sprache bereitstellt, können Benutzer schnell zu klaren Antworten gelangen. Benutzer können auch große Dokumente schnell hochladen und analysieren, da die Claude-3-Modelle ein Kontextfenster von 200 000 Token bieten, was etwa 150 000 Wörtern oder mehr als 500 Seiten entspricht. „Die Benutzerfreundlichkeit ist entscheidend, wenn wir etwas zu einem Teil unseres Produkts machen“, sagt Zhang. „Die Verwendung von Claude 3 in Amazon Bedrock war Teil einer großartigen Entwicklererfahrung.“
Perplexity zielt darauf ab, dass jedes Suchergebnis genau und hilfreich ist, indem es Halluzinationen reduziert - ungenaue Ausgaben von LLMs. Das Vorgängermodell von Anthropic, Claude 2.1, hatte die Rate der Halluzinationen bereits um die Hälfte reduziert. Und Anthropic hat mit der Claude-3-Familie weitere Verbesserungen bei der Verringerung von Halluzinationen und der Erhöhung der Genauigkeit erzielt, was die Genauigkeit gegenüber Claude 2.1 noch weiter verbessert hat. Während Anthropic daran arbeitet, Modellhalluzinationen auf Null zu reduzieren, setzt Perplexity menschliche Kommentatoren ein, um seinen Benutzern weiterhin genaue, sichere und vertrauenswürdige Informationen zu liefern. Darüber hinaus profitiert Perplexity von dem Engagement von Anthropic und AWS für verantwortliche KI. „Wir schätzen es, dass Amazon Bedrock über integrierte Inhaltsfilter verfügt, die uns warnen, wenn jemand versucht, unsere Lösung für unbeabsichtigte Zwecke zu nutzen“, sagt Aarash Heydari, Cloud Infrastructure Engineer bei Perplexity. Als Sicherheits- und Forschungsunternehmen ist Anthropic führend in der Bekämpfung von „Jailbreaks“, d. h. von Versuchen, schädliche Reaktionen zu erzeugen oder Modelle zu missbrauchen.
Perplexity optimiert auch weiterhin andere Modelle auf seiner von AWS betriebenen Infrastruktur. Im August 2023 wurde Perplexity ein früher Betatester von Amazon SageMaker HyperPod, das die undifferenzierte Schwerstarbeit beim Aufbau und der Optimierung der ML-Infrastruktur für das Training von FMs abnimmt. Die Ingenieure von Perplexity haben gemeinsam mit AWS-Lösungsarchitekten eine bahnbrechende skalierbare Infrastruktur entwickelt, die Trainings-Workloads automatisch auf beschleunigte Amazon EC2 P4de Instances verteilt und parallel verarbeitet. Amazon SageMaker HyperPod ist mit den verteilten Trainingsbibliotheken von Amazon SageMaker vorkonfiguriert, was die Leistung weiter verbessert. „Die Geschwindigkeit des Trainingsdurchsatzes hat sich verdoppelt“, sagt Heydari. „Die Infrastruktur war einfach zu verwalten und die hardwarebedingten Ausfälle gingen drastisch zurück.“
Um mehr darüber zu erfahren, wie Perplexity mit Amazon SageMaker HyperPod das Training von Basismodellen um 40 % beschleunigt, lesen Sie dieses Fallbeispiel.
Nach 2 Monaten hat Perplexity eine öffentliche API veröffentlicht, über die Benutzer auf die proprietären Online-Modelle Sonar Small und Medium zugreifen können, die auf AWS gehostet und mit Mistral 7B und Mixtral 8x7B optimiert werden. Diese Online-LLMs bevorzugen Wissen aus dem Internet gegenüber Trainingsdaten, um auf zeitkritische Anfragen zu reagieren. „Unsere Infrastruktur für Modelltraining und Inferenz wird von Amazon SageMaker HyperPod betrieben, was für uns ein entscheidender Faktor bei der Wahl von AWS war“, sagt Heydari. „Amazon SageMaker HyperPod hat unsere KI-Innovationen maßgeblich vorangetrieben.“
Ergebnis | Benutzer haben Zugriff auf die neuesten Innovationen in der Suche
Perplexity AI bietet Benutzern weiterhin eine Auswahl an Modellen, die ihren Bedürfnissen entsprechen, greift automatisch auf die jüngsten Iterationen von Claude zu und treibt die Verfügbarkeit neuer Features für Benutzer voran.
„In AWS haben wir eine äußerst zuverlässige Erfahrung mit all den Teilen der Infrastruktur, die zusammenkommen müssen, damit unser komplexes Produkt funktioniert“, sagt Heydari. „Wir bleiben auf dem neuesten Stand der KI-Funktionen, verwenden leistungsstarke Modelle und sind offen für alles, was unser Benutzererlebnis verbessert.“
Über Perplexity
Perplexity AI ist eine KI-gestützte Suchmaschine und ein Chatbot, der fortschrittliche Technologien wie die Verarbeitung natürlicher Sprache und Amazon Bedrock nutzt, um präzise und umfassende Antworten auf die Anfragen von mehr als 10 Millionen monatlichen Benutzern zu geben.
Genutzte AWS-Services
Amazon Bedrock
Amazon Bedrock ist ein vollständig verwalteter Service, der über eine einzige API eine Auswahl an leistungsstarken Basismodellen (FMs) von führenden KI-Unternehmen wie AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI und Amazon bietet. Zudem umfasst der Service eine Vielfalt an Funktionen, die für die Entwicklung von generativen KI-Anwendungen mit Sicherheit, Datenschutz und verantwortungsvoller KI benötigt werden.
Amazon SageMaker HyperPod
AmazonSageMaker HyperPod befreit Sie von der aufwändigen Arbeit, die mit dem Aufbau und der Optimierung der Infrastruktur für Machine Learning (ML) zum Training von Basismodellen (FMs) verbunden ist, und reduziert die Trainingszeit um bis zu 40 %.
Amazon EC2
Amazon Elastic Compute Cloud (Amazon EC2) bietet die umfangreichste und tiefgreifendste Compute-Plattform. Dazu gehören über 750 Instances und eine Auswahl der neuesten Prozessoren, Speicher, Netzwerke, Betriebssysteme und Kaufmodelle, damit Sie die Anforderungen Ihres Workloads optimal erfüllen können.
Erste Schritte
Organisationen aller Größen aus verschiedenen Sektoren transformieren ihre Unternehmen und erfüllen ihre Missionen täglich mithilfe von AWS. Kontaktieren Sie unsere Experten und begeben Sie sich noch heute Ihren Weg zu AWS.