Amazon Bedrock já oferece suporte à inferência entre regiões
Hoje, o Amazon Bedrock anuncia o suporte à inferência entre regiões, um recurso opcional que permite aos desenvolvedores gerenciar facilmente picos de tráfego utilizando computação em diferentes regiões da AWS. Com a inferência entre regiões, os clientes da Bedrock que usam o modo sob demanda poderão obter limites de throughput mais altos (até o dobro das cotas alocadas na região) e maior resiliência durante períodos de pico de demanda. Quando optam por participar, os desenvolvedores não precisam mais gastar tempo e esforço prevendo as flutuações da demanda. Em vez disso, a inferência entre regiões roteia dinamicamente o tráfego entre várias regiões, garantindo uma disponibilidade ideal para cada solicitação e uma performance mais estável durante períodos de alto uso.
Os clientes podem selecionar o destino dos fluxos de dados de inferência entre um conjunto predefinido de regiões, o que ajuda a cumprir os requisitos de residência de dados e as leis de soberania cabíveis. Além disso, quando possível, esse recurso prioriza a região de origem da API do Bedrock conectada, ajudando a minimizar a latência e melhorar a capacidade de resposta. Como resultado, os clientes podem aprimorar a confiabilidade, a performance e a eficiência das aplicações.
Não há custo adicional de roteamento para usar a inferência entre regiões. Você será cobrado com base na região em que fez a solicitação (região de origem). Encontre a lista de modelos e regiões predefinidas com suporte aqui. Para saber mais sobre o recurso e como começar a usar, consulte a documentação do Amazon Bedrock ou este blog.