Inferência em lote do Amazon Bedrock já oferece suporte ao formato da API Converse
A inferência em lote do Amazon Bedrock agora oferece suporte à API Converse como um tipo de invocação de modelo, o que permite usar um formato de entrada consistente e independente de modelo para suas workloads em lote.
Anteriormente, a inferência em lote exigia formatos de solicitação específicos do modelo por meio da API InvokeModel. Agora, ao criar um trabalho de inferência em lote, você pode selecionar a Converse como o tipo de invocação do modelo e estruturar seus dados de entrada usando o formato padrão de solicitação da API Converse. A saída para trabalhos em lote da Converse segue o formato de resposta da API Converse. Com esse recurso, você pode usar o mesmo formato de solicitação unificado para inferência em tempo real e em lote, o que simplifica o gerenciamento de prompts e reduz o esforço necessário para alternar entre modelos. Você pode configurar o tipo de invocação do modelo da Converse por meio do console do Amazon Bedrock e da API.
Esse recurso está disponível em todas as regiões da AWS que oferecem suporte à inferência em lote do Amazon Bedrock. Para começar a usá-lo, consulte Create a batch inference job e Format and upload your batch inference data no Guia do usuário do Amazon Bedrock.