Amazon Bedrock Agents, Flows und Wissensdatenbanken unterstützen ab sofort latenzoptimierte Modelle

Veröffentlicht am: 23. Dez. 2024

Amazon Bedrock Agents, Flows und Wissensdatenbanken bieten jetzt über das SDK Unterstützung für die kürzlich angekündigten, latenzoptimierten Modelle, die in der Vorschau verfügbar sind. Diese Erweiterung ermöglicht schnellere Reaktionszeiten und eine verbesserte Reaktionsfähigkeit für KI-Anwendungen, die mithilfe von Amazon Bedrock Tooling erstellt wurden. Zum jetzigen Zeitpunkt ist die Optimierung für das Modell Claude 3.5 Haiku von Anthropic und die Modelle Llama 3.1 405B- und 70B von Meta verfügbar, welche im Vergleich zu den Standardmodellen eine geringere Latenz bieten, ohne Kompromisse bei der Genauigkeit einzugehen.

Von diesem Update profitieren insbesondere Kunden, die latenzempfindliche Anwendungen wie Echtzeit-Kundenservice-Chatbots und interaktiven Codierassistenten entwickeln. Durch die Nutzung speziell entwickelter KI-Chips wie AWS Trainium2 und fortschrittlicher Softwareoptimierungen in Amazon Bedrock können Kunden jetzt auf mehr Optionen zugreifen, um ihre Inferenz für spezifische Anwendungsfälle zu optimieren. Wichtig ist, die Funktionen können ohne zusätzliche Einstellung oder Modellfeinabstimmung direkt in bestehende Anwendungen integriert werden, wodurch eine höhere Leistung und schnellere Reaktionszeiten erzielt werden.

Die latenzoptimierte Inferenzunterstützung für Amazon Bedrock Agents, Flows und Wissensdatenbanken ist in der Region USA Ost (Ohio) über die regionsübergreifende Inferenz verfügbar. Über das Amazon Bedrock SDK könne Kunden per Laufzeitkonfiguration auf die neuen Funktionen zugreifen, sodass sie die optimierten Modelle programmatisch in ihre Workflows und Anwendungen integrieren können.

Weitere Informationen zu Amazon Bedrock und seinen Funktionen, inklusive der neuen latenzoptimierten Inferenzunterstützung, finden Sie auf der Produktseite, der Preisseite und in der Dokumentation von Amazon Bedrock.