Publicado en: Nov 29, 2023
La evaluación de modelos en Amazon Bedrock le permite evaluar, comparar y seleccionar los mejores modelos básicos para su caso de uso. Amazon Bedrock ofrece la posibilidad de elegir entre la evaluación automática y la evaluación humana. Puede utilizar la evaluación automática con métricas predefinidas, como la precisión, la solidez y la toxicidad. Para obtener métricas subjetivas o personalizadas, como la amabilidad, el estilo y la alineación con la voz de la marca, puede configurar un flujo de trabajo de evaluación humana con unos pocos clics. Los flujos de trabajo de evaluación humana pueden aprovechar a sus propios empleados o a un equipo administrado por AWS como revisores. La evaluación del modelo proporciona conjuntos de datos seleccionados integrados, aunque usted puede usar sus propios conjuntos de datos.
La interfaz interactiva de Amazon Bedrock lo guía a través de la evaluación del modelo. Solo tiene que elegir la evaluación humana o automática, seleccionar el tipo de tarea y las métricas y cargar los conjuntos de datos de solicitud. A continuación, Amazon Bedrock ejecuta evaluaciones y genera un informe para que pueda comprender fácilmente el rendimiento del modelo en relación con las métricas que ha seleccionado y elegir la más adecuada para su caso de uso.
La evaluación del modelo en Amazon Bedrock está disponible en versión preliminar en las regiones de AWS Este de EE. UU. (Norte de Virginia) y Oeste de EE. UU. (Oregón). Para obtener más información, consulte la tabla de regiones de AWS.
Para obtener más información sobre la evaluación de modelos en Amazon Bedrock, consulte la página web de experiencia para desarrolladores de Amazon Bedrock. Para comenzar, inicie sesión en Amazon Bedrock en la consola de administración de AWS.