Publicado: Apr 25, 2024
As avaliações do modelo de base com o SageMaker Clarify agora estão disponíveis. Esse recurso ajuda cientistas de dados e engenheiros de machine learning a avaliar, comparar e selecionar modelos de base com base em uma variedade de critérios em diferentes tarefas em poucos minutos.
Os clientes do SageMaker selecionam entre centenas de modelos de base para potencializar suas aplicações de IA generativa. Eles avaliam e comparam esses modelos durante a seleção e a personalização do modelo para determinar o ajuste ideal para seu caso de uso. Esse processo pode levar dias para identificar benchmarks relevantes, configurar ferramentas de avaliação e conduzir a avaliação em cada modelo. Os resultados obtidos são frequentemente difíceis de aplicar ao seu caso de uso específico.
O SageMaker Clarify oferece avaliações automatizadas e humanas com resultados interpretáveis. Os clientes podem usar esse novo recurso no Amazon SageMaker Studio para avaliar LLMs hospedados pelo SageMaker ou usar fmeval para avaliar qualquer LLM. Comece utilizando conjuntos de dados rápidos selecionados e personalizados para tarefas como geração de texto, resumo, resposta a perguntas e classificação. Personalize parâmetros de inferência e modelos de solicitações e compare os resultados das configurações de diferentes modelos. Estenda as avaliações com conjuntos de dados e métricas de aviso personalizados. As avaliações humanas permitem que os clientes avaliem aspectos mais subjetivos, como criatividade e estilo. Após cada avaliação, os clientes recebem um relatório abrangente, completo com visualizações e exemplos, e os integram em seus fluxos de trabalho de machine learning do SageMaker.
Esse recurso está disponível em todas as regiões da AWS, exceto nas regiões AWS GovCloud (EUA), regiões da China, Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Melbourne), Oeste do Canadá (Calgary), Europa (Zurique), Europa (Estocolmo), Europa (Espanha), Israel (Tel Aviv) e Oriente Médio (EAU).
Para obter detalhes adicionais, consulte nossa página do produto, documentação e página de preços.