Amazon Bedrock já oferece suporte à avaliação de RAG (disponível para o público em geral)
A avaliação do Amazon Bedrock RAG agora está disponível. Você pode avaliar aplicações de geração aumentada via recuperação (RAG) que usam as Bases de Conhecimento para Amazon Bedrock ou em um sistema de RAG personalizado. É possível avaliar a recuperação ou a geração de ponta a ponta. As avaliações são realizadas por um LLM como juiz, com uma escolha de vários modelos de juízes. Para recuperação, você pode selecionar métricas como relevância e cobertura do contexto. Para recuperação e geração de ponta a ponta, você pode selecionar métricas de qualidade como exatidão, integridade e fidelidade (detecção de alucinações), bem como métricas de IA responsável, como nocividade, recusa de resposta e estereotipagem. Você também pode comparar vários trabalhos de avaliação para iterar nas Bases de Conhecimento ou em aplicações de RAG personalizadas com configurações diferentes, como estratégia de fragmentação ou comprimento vetorial, reordenadores ou diferentes modelos de geração de conteúdo.
*Novo: mais flexibilidade* A partir de hoje, além das Bases de Conhecimento para Bedrock, as avaliações de RAG do Amazon Bedrock oferecem suporte às avaliações personalizadas de pipelines de RAG. Os clientes que avaliam pipelines de RAG personalizados já podem trazer seus pares de entrada-saída e contextos recuperados para o trabalho de avaliação diretamente no conjunto de dados de entrada, permitindo ignorar a chamada para uma Base de Conhecimento para Bedrock (“traga suas próprias respostas de inferência”). Também adicionamos métricas de precisão e cobertura de citações para avaliação de Bases de Conhecimento para Bedrock. Se você usar uma Base de Conhecimento para Bedrock como parte da avaliação, poderá incorporar diretamente as barreiras de proteção do Amazon Bedrock.
Para saber mais, acesse a página e a documentação de avaliações do Amazon Bedrock. Para começar a usar, faça login no console do Amazon Bedrock ou use as APIs do Amazon Bedrock.