O que é o Amazon SageMaker Clarify?
O Amazon SageMaker Clarify fornece ferramentas específicas para obter maiores insights sobre seus modelos e dados de ML, com base em métricas como precisão, robustez, toxicidade e tendências para melhorar a qualidade do modelo e apoiar a iniciativa de IA responsável. Com o surgimento da IA generativa, cientistas de dados e engenheiros de ML podem aproveitar os modelos básicos (FMs) disponíveis publicamente para acelerar a comercialização. Para eliminar o trabalho pesado de avaliar e selecionar o FM certo para seu caso de uso, o Amazon SageMaker Clarify oferece suporte à avaliação de FM para ajudar você a avaliar, comparar e selecionar rapidamente o melhor FM para seu caso de uso com base em uma variedade de critérios em diferentes tarefas, em apenas alguns minutos. Ele permite que você adote FMs com mais rapidez e confiança. Para modelos tabulares, de visão computacional e de séries temporais, o SageMaker Clarify fornece explicabilidade do modelo durante o desenvolvimento ou pós-implantação do modelo. Você pode usar os relatórios de tendências e explicabilidade para identificar possíveis problemas e, portanto, direcionar esforços para melhorar a precisão, remover tendência e aumentar a performance.
Benefícios do SageMaker Clarify
Avalie modelos de base
Assistente de avaliação e relatórios
Personalização
Avaliações por pessoas
Avaliações da qualidade de modelos
Avaliações de responsabilidade de modelos
Avalie o risco do FM codificar estereótipos nas categorias de raça/cor, gênero/identidade de gênero, orientação sexual, religião, idade, nacionalidade, deficiência, aparência física e status socioeconômico usando avaliações automáticas e/ou humanas. Você também pode avaliar o risco de conteúdo tóxico. Essas avaliações podem ser aplicadas a qualquer tarefa que envolva geração de conteúdo, incluindo geração aberta, resumo e resposta a perguntas.
Previsões de modelos
Explicar previsões de modelos
Monitore seu modelo para mudanças de comportamento
Detectar viés
Identifique desequilíbrios nos dados
O SageMaker Clarify ajuda a identificar possíveis tendências durante a preparação de dados sem escrever código. Você especifica recursos de entrada, como gênero ou idade, e o SageMaker Clarify executa um trabalho de análise para detectar possíveis vieses nesses recursos. O SageMaker Clarify fornece um relatório visual com uma descrição das métricas e medições de possíveis vieses para que você possa identificar as etapas para corrigi-los. No caso de desequilíbrios, você pode usar o SageMaker Data Wrangler para equilibrar seus dados. O SageMaker Data Wrangler oferece três operadores de balanceamento: subamostragem aleatória, sobreamostragem aleatória e SMOTE para reequilibrar dados em seus conjuntos de dados não balanceados.
Verifique seu modelo treinado para vieses
Depois de treinar seu modelo, você pode executar uma análise de vieses do SageMaker Clarify por meio do Amazon SageMaker Experiments para verificar se há possíveis vieses em seu modelo, como previsões que produzem um resultado negativo com mais frequência para um grupo do que para outro. Você especifica os atributos de entrada determinando quais gostaria de medir a tendência nos resultados do modelo, e o SageMaker executa uma análise e fornece um relatório visual que identifica os diferentes tipos de tendência para cada atributo. O método de código aberto da AWS Fair Bayesian Optimization pode ajudar a mitigar as tendências ajustando os hiperparâmetros de um modelo.
Monitore as tendências do seu modelo implantado
Os vieses podem ser introduzidos ou exacerbados em modelos de ML implantados quando os dados ativos de treinamento diferem dos dados que o modelo vê durante a implantação. Por exemplo, as saídas de um modelo para prever preços de imóveis podem se tornar tendenciosas se as taxas de hipoteca usadas para treinar o modelo forem diferentes das taxas de hipoteca atuais. Os recursos de detecção de tendências do SageMaker Clarify são integrados ao Amazon SageMaker Model Monitor de modo que, quando o SageMaker detecta tendências acima de um determinado limite, ele gera automaticamente métricas que você pode visualizar no Amazon SageMaker Studio e por meio de métricas e alarmes do Amazon CloudWatch.
Recursos
Novidades
- Data (do mais recente ao mais antigo)