Las bases de conocimiento de Amazon Bedrock ahora admiten la evaluación de RAG (versión preliminar)
Hoy anunciamos la compatibilidad con la evaluación de la generación aumentada por recuperación (RAG) en las bases de conocimiento de Amazon Bedrock. Esta capacidad le permite evaluar sus aplicaciones de RAG creadas en las bases de conocimiento de Amazon Bedrock. Puede evaluar la recuperación de información o la recuperación junto con la generación de contenido. Las evaluaciones se basan en la tecnología LLM-as-a-judge (modelo de lenguaje grande [LLM] como juez) y los clientes pueden elegir entre varios modelos de jueces. Para la evaluación de la recuperación, puede seleccionar métricas como la relevancia del contexto y la cobertura. Para la evaluación de la generación Retrieve Plus, puede seleccionar entre métricas de calidad, como la corrección, la integridad y la fidelidad (detección de alucinaciones), así como métricas de IA responsable, como la nocividad, el rechazo de respuestas y los estereotipos. También puede comparar los trabajos de evaluación para comparar las bases de conocimiento con diferentes configuraciones, como la estrategia de fragmentación o la longitud de los vectores, o con diferentes modelos de generación de contenido.
La evaluación de las aplicaciones de RAG puede resultar difícil, ya que hay muchos componentes en la recuperación y la generación que deben optimizarse. Ahora, la herramienta de evaluación de RAG de las bases de conocimiento de Amazon Bedrock permite que los clientes evalúen sus aplicaciones basadas en bases de conocimiento de manera cómoda y rápida donde ya se encuentran sus datos y el LLM. Además, puede incorporar las barreras de protección de Amazon Bedrock directamente en su evaluación para realizar pruebas aún más exhaustivas. El uso de estas herramientas de evaluación de RAG en Amazon Bedrock puede ahorrar costos y tiempo (semanas) en comparación con una evaluación humana completa sin conexión a Internet. Esto le permite realizar mejoras en su aplicación de forma más rápida y sencilla.
Para obtener más información, incluida la disponibilidad regional, lea el blog de noticias de AWS y visite la página de evaluaciones de Amazon Bedrock. Para empezar, inicie sesión en la consola de Amazon Bedrock o utilice las API de este servicio.