Publicado en: Apr 23, 2024
La evaluación de modelos en Amazon Bedrock le permite evaluar, comparar y seleccionar los mejores modelos básicos para su caso de uso. Amazon Bedrock ofrece la posibilidad de elegir entre la evaluación automática y la evaluación humana. Puede utilizar la evaluación automática con algoritmos predefinidos para métricas como la precisión, la solidez y la toxicidad. Además, para esas métricas o métricas subjetivas y personalizadas, como la amabilidad, el estilo y la alineación con la voz de la marca, puede configurar un flujo de trabajo de evaluación humana con unos pocos clics. Los flujos de trabajo de evaluación humana pueden aprovechar a sus propios empleados o a un equipo administrado por AWS como revisores. La evaluación del modelo proporciona conjuntos de datos seleccionados integrados, aunque usted puede usar sus propios conjuntos de datos.
La interfaz interactiva de Amazon Bedrock lo guía por la evaluación de modelos. Solo tiene que elegir la evaluación humana o automática, seleccionar el tipo de tarea y las métricas y cargar los conjuntos de datos de peticiones. Luego, Amazon Bedrock ejecuta evaluaciones y genera un informe para que pueda comprender fácilmente el rendimiento del modelo en relación con las métricas que ha seleccionado y elegir la más adecuada para su caso de uso. Al usar este informe junto con las métricas de costo y la latencia del área de prueba de Amazon Bedrock, puede seleccionar el modelo con la compensación de calidad, costo y latencia que se requiere.
La evaluación de modelos en Amazon Bedrock ya está disponible de forma general en las regiones de AWS Este de EE. UU. (Norte de Virginia) y Oeste de EE. UU. (Oregón). Para obtener más información, consulte la tabla de regiones de AWS.
Para conocer más sobre la evaluación de modelos en Amazon Bedrock, consulte la página web de experiencia para desarrolladores de Amazon Bedrock. Para empezar, inicie sesión en Amazon Bedrock en la consola de administración de AWS o utilice la API de Amazon Bedrock.