Amazon Bedrock Intelligent Prompt Routing ist jetzt in der Vorschau verfügbar
Amazon Bedrock Intelligent Prompt Routing leitet Prompts an verschiedene Basismodelle innerhalb einer Modellfamilie weiter und hilft Ihnen damit, die Qualität der Antworten und Kosten zu optimieren. Intelligent Prompt Routing verwendet fortschrittliche Techniken zum Prompt-Matching und Modellverständnis, prognostiziert die Leistung jeden Modells für jede Anforderung und leitet jede Anforderung dynamisch an das Modell weiter, das seiner Prognose zufolge, am ehesten die gewünschte Antwort zu den niedrigsten Kosten liefert. Kunden können in der Vorschau zwischen zwei Prompt-Routern auswählen, die Anfragen entweder zwischen Claude Sonnet 3.5 und Claude Haiku oder zwischen Llama 3.1 8B und Llama 3.1 70B weiterleiten.
Amazon Bedrock ist ein vollständig verwalteter Service, der über eine einzige API eine Auswahl an leistungsstarken Basismodellen (FMs) von führenden KI-Unternehmen anbietet. Amazon Bedrock bietet auch eine breite Palette von Funktionen, die Kunden benötigen, um generative KI-Anwendungen mit integrierter Sicherheit, Privatsphäre und verantwortungsvoller KI zu entwickeln. Diese Funktionen helfen Ihnen, maßgeschneiderte Anwendungen für verschiedene Anwendungsfälle in unterschiedlichen Branchen zu entwickeln und unterstützen Unternehmen darin, ein nachhaltiges Wachstum durch generative KI zu generieren und gleichzeitig Kundenvertrauen und Data Governance zu gewährleisten. Mit Intelligent Prompt Routing bekommen Kunden von Amazon Bedrock bei Bedarf Unterstützung, um kosteneffektive generative KI-Anwendungen aus einer Kombination von Basismodellen zu entwickeln, mit dem Ziel bessere Leistungen zu geringeren Kosten wie bei einem einzelnen Basismodell zu erreichen.
In der Vorschau werden Kunden für Modelle, an die Anfragen weitergeleitet werden, reguläre On-Demand-Preise berechnet. Weitere Informationen finden Sie in der Dokumentation und im Blog.