Bases de conhecimento do Amazon Bedrock já oferecem suporte à inferência entre regiões
As bases de conhecimento do Amazon Bedrock anunciam o suporte à inferência entre regiões, um recurso opcional que permite aos desenvolvedores gerenciar facilmente picos de tráfego utilizando computação em diferentes regiões da AWS.
Com a inferência entre regiões, os clientes do Amazon Bedrock que usam a API RetrieveAndGenerate poderão obter limites de throughput mais altos e maior resiliência durante períodos de pico de demanda. Quando optam por participar, os desenvolvedores não precisam mais gastar tempo e esforço prevendo as flutuações da demanda. Em vez disso, a inferência entre regiões roteia dinamicamente o tráfego entre várias regiões, garantindo uma disponibilidade ideal para cada solicitação e uma performance mais estável durante períodos de alto uso. Para usar a inferência entre regiões, os clientes precisam especificar um perfil de inferência como o “modelARN” na solicitação da API RetrieveAndGenerate. Não há custo adicional de roteamento para usar a inferência entre regiões. Você será cobrado com base na região em que fez a solicitação (região de origem).
Encontre a lista de modelos e regiões predefinidas com suporte aqui. Para saber mais sobre o recurso e como começar a usar, consulte a documentação do Amazon Bedrock ou este blog.