Amazon Bedrock já oferece suporte à inferência de lotes

Agora, você pode usar o Amazon Bedrock para processar solicitações em lote e obter respostas para avaliação, experimentação e processamento offline de modelos.

O uso da API de lotes aumenta a eficiência da execução de inferências com modelos de base (FMs). Além disso, permite agregar respostas e analisá-las em lotes.

O processamento em lote está disponível para pré-visualização nas regiões da AWS Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Ásia-Pacífico (Singapura), Ásia-Pacífico (Tóquio) e Europa (Frankfurt).

Para saber mais sobre inferência de lotes no Amazon Bedrock, consulte a referência da API do Amazon Bedrock. O preço do modo em lote é o mesmo do modo sob demanda. Para obter detalhes, consulte a página de preços do Amazon Bedrock.

^{Atualização: 27/02/2024 - A publicação original informou erroneamente que o lançamento estava disponível ao público em geral, quando na verdade estava disponível para pré-visualização. A publicação foi atualizada adequadamente.}