Amazon Bedrock ahora admite la evaluación de RAG (disponible de forma general)
La evaluación de RAG de Amazon Bedrock ya está disponible de forma general. Puede evaluar sus aplicaciones de generación aumentada por recuperación (RAG), ya sean las creadas en las bases de conocimiento de Amazon Bedrock o en un sistema de RAG personalizado. Puede evaluar la recuperación o la generación integral. Las evaluaciones se basan en un modelo de lenguaje de gran tamaño (LLM) como juez, con una selección de varios modelos de jueces. Para la recuperación, puede seleccionar métricas como la relevancia del contexto y la cobertura. Para la generación y la recuperación integral, puede seleccionar entre métricas de calidad, como la corrección, la integridad y la fidelidad (detección de alucinaciones), y métricas de IA responsable, como la nocividad, el rechazo de respuestas y los estereotipos. También puede comparar entre trabajos de evaluación para iterar en sus bases de conocimiento o aplicaciones de RAG personalizadas con diferentes configuraciones, como la estrategia de fragmentación o la longitud de los vectores, la reclasificación o diferentes modelos de generación de contenido.
*Novedad: ¡Más flexibilidad!* Al día de hoy, además de las bases de conocimiento de Bedrock, las evaluaciones de RAG de Amazon Bedrock respaldan las evaluaciones de canalizaciones personalizadas de RAG. Los clientes que evalúan canalizaciones personalizadas de RAG ahora pueden incorporar sus pares de entrada/salida y los contextos recuperados al trabajo de evaluación directamente en su conjunto de datos de entrada. De esta manera, evitan la llamada a una base de conocimiento de Bedrock (“use sus respuestas de inferencia”). También agregamos métricas de precisión de citas y cobertura de citas para la evaluación de las bases de conocimiento de Bedrock. Si utiliza una base de conocimiento de Bedrock como parte de su evaluación, puede incorporar directamente las barreras de protección de Amazon Bedrock.
Para obtener más información, visite la página de evaluaciones y la documentación de Amazon Bedrock. Para empezar, inicie sesión en la consola de Amazon Bedrock o utilice las API de este servicio.