Bases de conhecimento do Amazon Bedrock já oferecem suporte a respostas de streaming
As bases de conhecimento do Amazon Bedrock oferecem fluxos de trabalho de geração aumentada via recuperação (RAG) completos e totalmente gerenciados para criar aplicações de GenAI altamente precisas, de baixa latência, seguras e personalizadas por meio da incorporação de informações contextuais das fontes de dados da empresa. Hoje, estamos anunciando o suporte à API RetrieveAndGenerateStream nas bases de conhecimento do Bedrock. Essa nova API de streaming permite que os clientes das bases de conhecimento do Bedrock recebam a resposta da API conforme ela é gerada pelo grande modelo de linguagem (LLM), em vez de esperar pela resposta completa.
O fluxo de trabalho da RAG envolve várias etapas, incluindo consultar o datastore, coletar o contexto relevante e enviar a consulta a um LLM para resumir as respostas. Essa etapa final da geração da resposta pode levar alguns segundos, dependendo da latência do modelo subjacente utilizado. Agora, para reduzir essa latência na criação de aplicações com requisitos rígidos de latência, oferecemos a API RetrieveAndGenerateStream, que fornece a resposta como um fluxo à medida que é gerada pelo modelo. Isso resulta em uma latência reduzida para o início das respostas, proporcionando aos usuários uma experiência mais integrada e responsiva nas interações com as bases de conhecimento do Bedrock.
Atualmente, esse novo recurso tem suporte em todas as regiões que oferecem as bases de conhecimento do Amazon Bedrock. Para saber mais, consulte a documentação.