Amazon Bedrock ahora admite la inferencia entre regiones
Hoy, Amazon Bedrock anuncia la compatibilidad con la inferencia entre regiones, una característica opcional que permite a los desarrolladores administrar sin inconvenientes las ráfagas de tráfico mediante el uso de la computación en diferentes regiones de AWS. Al utilizar la inferencia entre regiones, los clientes de Bedrock que utilicen el modo bajo demanda podrán obtener límites de rendimiento más altos (hasta el doble de las cuotas asignadas en la región) y una mayor resiliencia durante los períodos de máxima demanda. Al elegir esta opción, los desarrolladores ya no tienen que dedicar tiempo y esfuerzo a predecir las fluctuaciones de la demanda. En cambio, la inferencia entre regiones enruta el tráfico de forma dinámica entre varias regiones, lo que garantiza una disponibilidad óptima para cada solicitud y un rendimiento más fluido durante los períodos de alto uso.
Los clientes pueden controlar hacia dónde fluyen sus datos de inferencia seleccionando entre un conjunto predefinido de regiones. Esto los ayuda a cumplir con los requisitos de residencia de los datos y las leyes de soberanía aplicables. Además, esta capacidad prioriza, cuando es posible, la región fuente de la API de Bedrock conectada. Esto ayuda a minimizar la latencia y mejorar la capacidad de respuesta. Como resultado, los clientes pueden mejorar la fiabilidad, el rendimiento y la eficiencia de sus aplicaciones.
El uso de la inferencia entre regiones no conlleva ningún costo de enrutamiento adicional y se le cobrará en función de la región en la que haya realizado la solicitud (región de origen). Consulte la lista de modelos compatibles y regiones predefinidas aquí. Para obtener más información sobre la característica y cómo empezar, consulte la documentación de Amazon Bedrock o este blog.