Perplexity baut fortgeschrittene Suchmaschine mit Claude 3 von Anthropic in Amazon Bedrock

Die im Dezember 2022 auf den Markt gebrachte Perplexity AI ist in der Lage, den Kontext zu erkennen und Interaktionen zu personalisieren, indem sie die Interessen und Vorlieben eines Benutzers im Laufe der Zeit lernt. Benutzer erhalten auch einen Einblick in die Zuverlässigkeit der Informationen, da jedes Suchergebnis von einer Liste an Quellen begleitet wird.

Seit der Einführung seines öffentlichen API-Dienstes verwendet Perplexity Amazon SageMaker, einen vollständig verwalteten Service, der eine breite Palette von Tools für leistungsstarkes, kostengünstiges maschinelles Lernen (ML) für praktisch jeden Anwendungsfall vereint. Nach der Evaluierung mehrerer Cloud-Anbieter entschied sich Perplexity für AWS für das Training und die Inferenz seiner Modelle, um seine Nutzung von Amazon Bedrock zu ergänzen. „Mit AWS hatten wir Zugriff auf GPUs und profitierten von der technischen Expertise des proaktiven AWS-Teams“, sagt Denis Yarats, Chief Technology Officer bei Perplexity. Das Unternehmen testete Instance-Typen von Amazon Elastic Compute Cloud (Amazon EC2), die eine breite Auswahl an Rechen-, Netzwerk- bis zu 3.200 Gbit/s- und Speicherservices bietet, die speziell zur Optimierung des Preis-Leistungs-Angebots für ML-Projekte entwickelt wurden. Insbesondere verwendet Perplexity Amazon EC2 P4DE-Instances, die auf NVIDIA A100-GPUs basieren und für verteiltes Training optimiert sind, zur Feinabstimmung von Open-Source-FMs.

Über Amazon Bedrock können Benutzer von Perplexity AI ein Modell aus der Claude 3-Modellfamilie von Anthropic, einem AWS-Partner, auswählen. Die Modelle von Claude 3 zeichnen sich neben modernster Leistung durch Expertenwissen, Genauigkeit und kontextuelles Verständnis aus. „Die Nutzung eines leistungsstarken Services wie Amazon Bedrock bedeutet, dass wir die leistungsstarken Modelle von Anthropic so nutzen, dass unser Team die Zuverlässigkeit und Latenz unseres Produkts effektiv aufrechterhalten kann.“, sagt William Zhang, Mitglied im Technikteam bei Perplexity.

Da Claude Informationen in prägnanter, natürlicher Sprache bereitstellt, können Benutzer schnell zu klaren Antworten gelangen. Benutzer können auch große Dokumente schnell hochladen und analysieren, da die Claude-3-Modelle ein Kontextfenster von 200 000 Token bieten, was etwa 150 000 Wörtern oder mehr als 500 Seiten entspricht. „Die Benutzerfreundlichkeit ist entscheidend, wenn wir etwas zu einem Teil unseres Produkts machen“, sagt Zhang. „Die Verwendung von Claude 3 in Amazon Bedrock war Teil einer großartigen Entwicklererfahrung.“

Perplexity zielt darauf ab, dass jedes Suchergebnis genau und hilfreich ist, indem es Halluzinationen reduziert - ungenaue Ausgaben von LLMs. Das Vorgängermodell von Anthropic, Claude 2.1, hatte die Rate der Halluzinationen bereits um die Hälfte reduziert. Und Anthropic hat mit der Claude-3-Familie weitere Verbesserungen bei der Verringerung von Halluzinationen und der Erhöhung der Genauigkeit erzielt, was die Genauigkeit gegenüber Claude 2.1 noch weiter verbessert hat. Während Anthropic daran arbeitet, Modellhalluzinationen auf Null zu reduzieren, setzt Perplexity menschliche Kommentatoren ein, um seinen Benutzern weiterhin genaue, sichere und vertrauenswürdige Informationen zu liefern. Darüber hinaus profitiert Perplexity vom Engagement von Anthropic und AWS für verantwortungsvolle KI. „Wir schätzen es, dass Amazon Bedrock über integrierte Inhaltsfilter verfügt, die uns warnen, wenn jemand versucht, unsere Lösung für unbeabsichtigte Zwecke zu nutzen“, sagt Aarash Heydari, Cloud Infrastructure Engineer bei Perplexity. Als Sicherheits- und Forschungsunternehmen ist Anthropic führend in der Bekämpfung von „Jailbreaks“, d. h. von Versuchen, schädliche Reaktionen zu erzeugen oder Modelle zu missbrauchen.

Perplexity optimiert auch weiterhin andere Modelle auf seiner von AWS betriebenen Infrastruktur. Im August 2023 wurde Perplexity zu einem frühen Betatester von Amazon SageMaker HyperPod, wodurch die undifferenzierte Schwerstarbeit beim Aufbau und der Optimierung der ML-Infrastruktur für das Training von FMs entfällt. Die Ingenieure von Perplexity haben gemeinsam mit AWS-Lösungsarchitekten eine bahnbrechende skalierbare Infrastruktur entwickelt, die Trainings-Workloads automatisch auf beschleunigte Amazon EC2 P4de Instances verteilt und parallel verarbeitet. Amazon SageMaker HyperPod ist mit den verteilten Trainingsbibliotheken von Amazon SageMaker vorkonfiguriert, was die Leistung weiter verbessert. „Die Geschwindigkeit des Trainingsdurchsatzes hat sich verdoppelt“, sagt Heydari. „Die Infrastruktur war einfach zu verwalten und die hardwarebedingten Ausfälle gingen drastisch zurück.“

Lesen Sie diese Fallstudie, um mehr darüber zu erfahren, wie Perplexity das Training von Basismodellen mit Amazon SageMaker HyperPod um 40% beschleunigt.

Nach zwei Monaten veröffentlichte Perplexity eine öffentliche API, über die Benutzer auf seine proprietären Online-Modelle Sonar Small und Medium zugreifen können, die auf AWS gehostet und mit Mistral 7B und Mixtral 8x7B optimiert werden. Diese Online-LLMs bevorzugen Wissen aus dem Internet gegenüber Trainingsdaten, um auf zeitkritische Anfragen zu reagieren. „Unsere Infrastruktur für Modelltraining und Inferenz wird von Amazon SageMaker HyperPod betrieben, was für uns ein entscheidender Faktor bei der Wahl von AWS war“, sagt Heydari. „Amazon SageMaker HyperPod hat unsere KI-Innovationen maßgeblich vorangetrieben.“

Perplexity AI bietet Benutzern weiterhin eine Auswahl an Modellen, die ihren Bedürfnissen entsprechen, greift automatisch auf die jüngsten Iterationen von Claude zu und treibt die Verfügbarkeit neuer Features für Benutzer voran.

„In AWS haben wir eine äußerst zuverlässige Erfahrung mit all den Teilen der Infrastruktur, die zusammenkommen müssen, damit unser komplexes Produkt funktioniert“, sagt Heydari. „Wir bleiben auf dem neuesten Stand der KI-Funktionen, verwenden leistungsstarke Modelle und sind offen für alles, was unser Benutzererlebnis verbessert.“