Amazon Bedrock Knowledge Bases unterstützen jetzt regionsübergreifende Inferenz
Amazon Bedrock Knowledge Bases kündigt die Unterstützung für regionsübergreifende Inferenz an, ein optionales Feature, das es Entwicklern ermöglicht, Datenverkehrsspitzen durch die Nutzung von Rechenleistung in verschiedenen AWS-Regionen besser abzufangen.
Durch die Verwendung regionsübergreifender Inferenz profitieren Kunden der Amazon Bedrock Knowledge Base, die die RetrieveAndGenerate-API verwenden, von höheren Durchsatzobergrenzen und einer verbesserten Resilienz bei Nachfragespitzen. Entwickler, die sich für dieses Feature anmelden, müssen sich nicht mehr um die Vorhersage von Nachfrageschwankungen kümmern. Stattdessen leitet die regionsübergreifende Inferenz den Verkehr dynamisch über mehrere Regionen weiter und gewährleistet so eine optimale Verfügbarkeit für jede Anforderung und eine stabile Leistung in Zeiten hoher Auslastung. Um regionsübergreifende Inferenz verwenden zu können, müssen Kunden in der Anfrage der RetrieveAndGenerate API ein Inferenzprofil als „ModelArn“ angeben. Für die Verwendung der regionsübergreifenden Inferenz fallen keine zusätzlichen Routing-Kosten an. Die Kosten richten sich nach der Region, in der Sie die Anfrage gestellt haben (Quellregion).
Eine Liste der unterstützten Modelle und vordefinierten Regionen finden Sie hier. Weitere Informationen zu diesem Feature und den ersten Schritten finden Sie in der Dokumentation zu Amazon Bedrock oder in diesem Blog.