Bases de conhecimento do Amazon Bedrock já oferecem suporte à avaliação da RAG (pré-visualização)
Hoje, estamos anunciando o suporte à avaliação da RAG nas bases de conhecimento do Amazon Bedrock. Esse recurso permite que você avalie aplicações de geração aumentada via recuperação (RAG) que usam as bases de conhecimento do Amazon Bedrock. Você pode avaliar a recuperação de informações ou a recuperação e a geração de conteúdo. As avaliações são baseadas na tecnologia LLM como juiz e os clientes podem escolher qual dos vários modelos de juiz desejam usar. Para avaliação de recuperação, você pode selecionar métricas como relevância e cobertura do contexto. Para avaliação de recuperação e geração, você pode selecionar métricas de qualidade como exatidão, integridade e fidelidade (detecção de alucinações), bem como métricas de IA responsável, como nocividade, recusa de resposta e estereotipagem. Você também pode comparar os trabalhos de avaliação para comparar as bases de conhecimento com diferentes configurações, como estratégia de fragmentação ou comprimento vetorial, ou diferentes modelos de geração de conteúdo.
Avaliar aplicações RAG pode ser difícil, pois há muitos componentes na recuperação e na geração que precisam ser otimizados. Agora, a ferramenta de avaliação da RAG das bases de conhecimento do Amazon Bedrock permite que os clientes avaliem aplicações que usam a base de conhecimento de forma conveniente e rápida no local onde já estão os dados e LLMs. Além disso, você pode incorporar as barreiras de proteção do Amazon Bedrock diretamente em sua avaliação para realizar testes ainda mais completos. O uso dessas ferramentas de avaliação da RAG no Amazon Bedrock pode economizar custos e semanas em comparação com uma avaliação completa offline realizada por humanos, permitindo que você aprimore as aplicações com mais rapidez e facilidade.
Para saber mais, incluindo a disponibilidade regional, leia o blog de notícias da AWS e acesse a página de avaliações do Amazon Bedrock. Para começar a usar, faça login no console do Amazon Bedrock ou use as APIs do Amazon Bedrock.