Las bases de conocimiento de Amazon Bedrock ahora admiten la inferencia entre regiones
Las bases de conocimiento de Amazon Bedrock anuncia la compatibilidad con la inferencia entre regiones, una característica opcional que permite a los desarrolladores gestionar sin problemas las ráfagas de tráfico mediante el uso de la computación en diferentes regiones de AWS.
Al utilizar la inferencia interregional, los clientes de la base de conocimiento de Amazon Bedrock que utilicen la API RetrieveAndGenerate podrán obtener límites de rendimiento más altos y una mayor resiliencia durante los períodos de máxima demanda. Al elegir esta opción, los desarrolladores ya no tienen que dedicar tiempo y esfuerzo a predecir las fluctuaciones de la demanda. En cambio, la inferencia entre regiones enruta el tráfico de forma dinámica entre varias regiones, lo que garantiza una disponibilidad óptima para cada solicitud y un rendimiento más fluido durante los períodos de alto uso. Para usar la inferencia entre regiones, los clientes deben especificar un perfil de inferencia como “modelARN” en la solicitud de la API RetrieveAndGenerate. El uso de la inferencia entre regiones no conlleva ningún costo de enrutamiento adicional y se le cobrará en función de la región en la que haya realizado la solicitud (región de origen).
Consulte la lista de modelos compatibles y regiones predefinidas aquí. Para obtener más información sobre la característica y cómo empezar, consulte la documentación de Amazon Bedrock o este blog.