Publicado: Nov 29, 2023
Hoje, o Amazon SageMaker Clarify anuncia um novo recurso para dar suporte às avaliações do modelo de base (FM). Os clientes da AWS podem comparar e selecionar FMs com base em métricas como precisão, robustez, viés e toxicidade, em poucos minutos.
Atualmente, os clientes têm uma ampla variedade de opções ao escolher um FM para alimentar suas aplicações de IA generativa e querem comparar esses modelos rapidamente para encontrar a melhor opção para seu caso de uso. Para começar a comparar modelos, os clientes primeiro passam dias identificando benchmarks relevantes, configurando ferramentas de avaliação e executando avaliações em cada modelo. E geralmente recebem resultados difíceis de decifrar.
O SageMaker Clarify agora oferece suporte a avaliações de FM durante a seleção do modelo e em todo o fluxo de trabalho de personalização do modelo. Os clientes começam com as avaliações de FM aproveitando conjuntos de dados de prompt selecionados, criados especificamente para tarefas comuns, incluindo geração de texto aberto, resumo, resposta a perguntas e classificação. Os clientes podem estender a avaliação de FM com seus próprios conjuntos de dados de prompt personalizados. As avaliações humanas podem ser usadas para dimensões mais subjetivas, como criatividade e estilo. Após cada avaliação, os clientes recebem um relatório de avaliação que resume os resultados em linguagem natural e inclui visualizações e exemplos. Os clientes podem baixar todas as métricas e relatórios e integrá-las aos fluxos de trabalho de machine learning do SageMaker.
Esse recurso está disponível em regiões selecionadas em pré-visualização: Leste dos EUA (N. da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Oregon), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Singapura), Europa (Frankfurt), Europa (Irlanda). Para obter detalhes adicionais, consulte nossa documentação e a página de preços.