Amazon Bedrock unterstützt jetzt die Responses API von OpenAI
Amazon Bedrock unterstützt jetzt die Responses API auf neuen OpenAI-Service-Endpunkten mit API-Kompatibilität. Die Responses API ermöglicht es Entwicklern, asynchrone Inferenzen für Inferenz-Workloads mit langer Laufzeit zu erzielen. Zudem vereinfacht sie die Integration von Tools in agentenbasierte Workflows und unterstützt das zustandsbehaftete Konversationsmanagement. Entwickler müssen nicht mehr bei jeder Anfrage den gesamten Konversationsverlauf weitergeben, sondern können mit der Responses API den Kontext automatisch neu erstellen, ohne den Verlauf manuell verwalten zu müssen. Diese neuen Service-Endpunkte unterstützen sowohl den Streaming- als auch den Nicht-Streaming-Modus. Sie ermöglichen die Unterstützung von Reasoning innerhalb der Chat Completions API und erfordern nur eine Änderung der Basis-URL, damit Entwickler sie in bestehende Codebasen mit OpenAI-SDK-Kompatibilität integrieren können.
Chat Completions mit Reasoning-Unterstützung ist für alle Amazon-Bedrock-Modelle verfügbar, die auf Project Mantle basieren. Project Mantle ist eine neu verteilte Inferenz-Engine für groß angelegte Machine-Learning-Modelle, die auf Amazon Bedrock bereitgestellt wird. Project Mantle vereinfacht und beschleunigt das Onboarding neuer Modelle auf Amazon Bedrock. Es bietet hochleistungsfähige und zuverlässige serverlose Inferenz mit ausgeklügelten Qualitätskontrollen und ermöglicht höhere Standardkundenkontingente mit automatisiertem Kapazitätsmanagement und vereinheitlichten Pools. Zudem bietet es sofort einsatzbereite Kompatibilität mit OpenAI-API-Spezifikationen. Die Responses API-Unterstützung ist ab heute ab den GPT-OSS-20B/120B-Modellen von OpenAI verfügbar. Unterstützung für andere Modelle wird in Kürze folgen.
Weitere Informationen zu den ersten Schritten finden Sie hier in der Servicedokumentation.