Evaluaciones de Amazon Bedrock

Utilice las evaluaciones de recuperación y generación para evaluar la capacidad de RAG integral de su aplicación. Asegúrese de que el contenido generado sea correcto y completo, limite las alucinaciones y respete los principios de la IA responsable. Evalúe el rendimiento de una base de conocimiento de Bedrock o use sus propias respuestas de inferencia de su sistema de RAG personalizado. Seleccione un LLM para usarlo como juez de sus bases de conocimientos de Amazon Bedrock o sus resultados personalizados de RAG, cargue su conjunto de datos y elija las métricas más relevantes para la evaluación.

Utilice las evaluaciones de recuperación de RAG para evaluar la configuración de almacenamiento y recuperación de sus bases de conocimiento de Amazon Bedrock o su sistema de RAG personalizado. Asegúrese de que el contenido recuperado sea pertinente y cubra toda la consulta del usuario. Seleccione un LLM para usarlo como juez, elija una base de conocimiento de Bedrock para evaluar o incluya las recuperaciones del sistema de RAG personalizado en su conjunto de datos de peticiones y seleccione las métricas.

La evaluación del modelo de Amazon Bedrock permite utilizar evaluaciones automáticas y humanas para seleccionar los modelos fundacionales (FM) para un caso de uso específico. La evaluación automática (mediante programación) del modelo utiliza conjuntos de datos seleccionados y personalizados y proporciona métricas predefinidas que incluyen la precisión, la solidez y la toxicidad. En el caso de las métricas subjetivas, puede utilizar Amazon Bedrock para configurar un flujo de trabajo de evaluación humana en unos pocos pasos. Con las evaluaciones humanas, puede traer sus propios conjuntos de datos y definir métricas personalizadas, como la adecuación, el estilo y la alineación con la voz de la marca. Los flujos de trabajo de evaluación humana pueden llevarse a cabo con sus propios empleados como revisores o mediante un equipo administrado por AWS para que lleve a cabo la evaluación humana, en cuyo caso AWS contrata a evaluadores cualificados y administra todo el flujo de trabajo en su nombre. También puede usar un LLM como juez para proporcionar evaluaciones de alta calidad sobre su conjunto de datos con métricas como la corrección, la integridad y la fidelidad (alucinaciones), así como métricas de IA responsable, como el rechazo a la respuesta y la nocividad. Puede evaluar los modelos de Bedrock y cualquier otro modelo en cualquier lugar con sus propias respuestas de inferencia en su conjunto de datos de peticiones de entrada.

Utilice la característica de comparación en las evaluaciones para ver los resultados de cualquier cambio que haya efectuado en las peticiones, los modelos que se están evaluando, los sistemas de RAG personalizados o las Bases de conocimiento de Bedrock.