Publicado en: Apr 25, 2024
Las evaluaciones de modelos básicos con SageMaker Clarify ya están disponibles de forma general. Esta capacidad ayuda a los científicos de datos y a los ingenieros de machine learning (ML) a evaluar, comparar y seleccionar modelos básicos en función de una variedad de criterios para diferentes tareas en cuestión de minutos.
Los clientes de SageMaker seleccionan entre cientos de modelos fundacionales para impulsar sus aplicaciones de IA generativa. Evalúan y comparan estos modelos durante la selección y personalización de modelos para determinar el ajuste óptimo para su caso de uso. Este proceso puede llevar días identificando los puntos de referencia relevantes, configurando las herramientas de evaluación y realizando la evaluación de cada modelo. Los resultados obtenidos suelen ser difíciles de aplicar a su caso de uso específico.
SageMaker Clarify ofrece evaluaciones humanas y automatizadas con resultados interpretables. Los clientes pueden usar esta nueva capacidad en Amazon SageMaker Studio para evaluar las modelos de lenguaje de gran tamaño (LLM) alojados en Sagemaker o usar fmeval para evaluar cualquier LLM. Comience por utilizar conjuntos de datos rápidos seleccionados y diseñados para tareas como la generación de texto, el resumen, la respuesta a preguntas y la clasificación. Personalice los parámetros de inferencia y las plantillas de solicitudes y compare los resultados de las diferentes configuraciones de los modelos. Amplíe las evaluaciones con métricas y conjuntos de datos rápidos personalizados. Las evaluaciones humanas permiten a los clientes evaluar aspectos más subjetivos como la creatividad y el estilo. Tras cada evaluación, los clientes reciben un informe completo, con visualizaciones y ejemplos, y los integran en sus flujos de trabajo de ML de SageMaker.
Esta capacidad está disponible en todas las regiones de AWS, excepto en las regiones AWS GovCloud (EE. UU.), las regiones de China, Asia-Pacífico (Hyderabad), Asia-Pacífico (Melbourne), Oeste de Canadá (Calgary), Europa (Zúrich), Europa (Estocolmo), Europa (España), Israel (Tel Aviv) y Oriente Medio (Emiratos Árabes Unidos).
Para obtener más información, consulte nuestra página del producto, la documentación y la página de precios.