Amazon Bedrock unterstützt jetzt regionsübergreifende Inferenz
Heute kündigt Amazon Bedrock die Unterstützung für regionsübergreifende Inferenz an, ein optionales Feature, das es Entwicklern ermöglicht, Datenverkehrsspitzen durch die Nutzung von Rechenleistung in verschiedenen AWS-Regionen besser abzufangen. Mithilfe der regionsübergreifenden Inferenz können Bedrock-Kunden, die den On-Demand-Modus verwenden, ihre Durchsatzobergrenzen erhöhen (bis zum Zweifachen der ihnen zugewiesenen Kontingente innerhalb der Region) und besser auf Spitzenlasten in Zeiten hoher Nachfrage reagieren. Entwickler, die sich für dieses Feature anmelden, müssen sich nicht mehr um die Vorhersage von Nachfrageschwankungen kümmern. Stattdessen leitet die regionsübergreifende Inferenz den Verkehr dynamisch über mehrere Regionen weiter und gewährleistet so eine optimale Verfügbarkeit für jede Anforderung und eine stabile Leistung in Zeiten hoher Auslastung.
Kunden können kontrollieren, wohin ihre Inferenzdaten fließen, indem sie aus einer vordefinierten Reihe von Regionen auswählen. Das erleichtert die Einhaltung von Anforderungen bezüglich der Datenresidenz und der Datenhoheit. Darüber hinaus priorisiert die Funktion nach Möglichkeit die verbundene Bedrock-API-Quellregion, was dazu beiträgt, die Latenz zu minimieren und die Reaktionsfähigkeit zu verbessern. Dadurch können Kunden die Zuverlässigkeit, Leistung und Effizienz ihrer Anwendungen verbessern.
Für die Verwendung der regionsübergreifenden Inferenz fallen keine zusätzlichen Routing-Kosten an. Die Kosten richten sich nach der Region, in der Sie die Anfrage gestellt haben (Quellregion). Eine Liste der unterstützten Modelle und vordefinierten Regionen finden Sie hier. Weitere Informationen zu diesem Feature und den ersten Schritten finden Sie in der Dokumentation zu Amazon Bedrock oder in diesem Blog.