Amazon SageMaker Clarify
Detecte sesgos en los datos y modelos de ML y explique las predicciones de modelos
Explique cómo las características de entrada han contribuido a las predicciones del modelo en tiempo real.
Detecte un posible sesgo durante la preparación de los datos, después del entrenamiento de modelos y en el modelo implementado.
Identifique cualquier cambio en el sesgo y la importancia de las características después de la implementación.
Amazon SageMaker Clarify proporciona a los desarrolladores de machine learning (ML) herramientas especialmente diseñadas para obtener una mayor comprensión de sus datos y modelos de entrenamiento de ML. SageMaker Clarify detecta y mide el sesgo potencial mediante una variedad de métricas para que los desarrolladores de ML puedan abordar el sesgo potencial y explicar las predicciones del modelo.
SageMaker Clarify puede detectar posibles sesgos durante la preparación de los datos, después del entrenamiento de modelos, y en el modelo implementado. Por ejemplo, puede comprobar el sesgo relacionado con la edad en el conjunto de datos o en el modelo entrenado y recibir un informe detallado que cuantifique los diferentes tipos de sesgos posibles. SageMaker Clarify también incluye puntuaciones de importancia de características que lo ayudan a explicar cómo el modelo hace predicciones y genera informes de explicación en masa o en tiempo real a través de la explicación a través de Internet. Puede utilizar estos informes con el fin de apoyar las presentaciones internas o de los clientes o para identificar posibles problemas con el modelo.
Detecte el sesgo en los datos y en las predicciones del modelo
Identificación de desajustes en los datos
Con SageMaker Clarify, puede identificar posibles sesgos durante la preparación de datos sin tener que escribir su propio código como parte de Amazon SageMaker Data Wrangler. Tiene que especificar las características de entrada, como el género o la edad, y luego SageMaker Clarify ejecuta un trabajo de análisis para detectar posibles sesgos en esas características. Luego, SageMaker Clarify proporciona un informe visual con una descripción de las métricas y medidas del sesgo potencial para que pueda identificar los pasos para corregir el sesgo. Por ejemplo, en un conjunto de datos financiero que contiene solo unos pocos ejemplos de préstamos empresariales a un grupo de edad en comparación con otros, las métricas de sesgo indicarán el desequilibrio a fin de que pueda abordarlos en su conjunto de datos y posiblemente reducir el riesgo de tener un modelo que es desproporcionadamente inexacto para un grupo de edad específico.
En caso de desequilibrios, puede usar SageMaker Data Wrangler para equilibrar sus datos. SageMaker Data Wrangler ofrece tres operadores de equilibrio: submuestreo aleatorio, sobremuestreo aleatorio y SMOTE para volver a equilibrar los datos en los conjuntos de datos desequilibrados. Lea nuestra publicación en el blog para obtener más información.
Verificación de sesgos en el modelo entrenado
Una vez que entrene su modelo, puede ejecutar un análisis de sesgo de SageMaker Clarify a través de los Experimentos de Amazon SageMaker para verificar si este tiene un sesgo potencial, como predicciones que producen un resultado negativo con más frecuencia para un grupo que para otro. Tiene que especificar las características de entrada con respecto a las cuales le gustaría medir el sesgo en los resultados del modelo, como la edad, y SageMaker ejecuta un análisis y le proporciona un informe visual que identifica los diferentes tipos de sesgo para cada característica, como si los grupos de mayor edad reciben predicciones más positivas en comparación con los grupos jóvenes.
El método de código abierto de AWS Fair Bayesian Optimization puede ayudar a mitigar el sesgo al ajustar los hiperparámetros de un modelo. Lea nuestra publicación del blog aquí para aprender a aplicar Fair Bayesian Optimization a fin de mitigar el sesgo mientras se optimiza la precisión de un modelo de ML.
Supervisión de sesgos en el modelo
SageMaker Clarify ayuda a los científicos de datos y a los ingenieros de machine learning a supervisar las predicciones en busca de sesgos de manera regular. El sesgo se puede introducir o exacerbar en los modelos de ML implementados cuando los datos de formación difieren de los datos en directo que el modelo ve durante la implementación. Por ejemplo, los resultados de un modelo para predecir los precios de la vivienda pueden estar sesgados si los tipos hipotecarios usados para formar el modelo difieren de los tipos hipotecarios actuales. Las capacidades de detección de sesgos de Amazon SageMaker Clarify están integradas en el Monitor de modelos de Amazon SageMaker, de modo que, cuando SageMaker detecta sesgos más allá de un determinado umbral, genera métricas de manera automática que puede ver en Amazon SageMaker Studio y a través de las métricas y alarmas de Amazon CloudWatch.
Explique las predicciones del modelo
Comprenda qué características contribuyen más a la predicción del modelo
Explique los modelos de visión artificial y NLP
Monitoreo de cambios del comportamiento en el modelo
Explique las predicciones individuales del modelo en tiempo real
Casos de uso
Ciencia de datos
Los científicos de datos e ingenieros de machine learning (ML) necesitan herramientas para generar la información necesaria para solucionar los errores y mejorar los modelos de ML mediante una mejor ingeniería de características. Estos datos los ayudan a determinar si un modelo está creando interferencias con características ruidosas o irrelevantes y a entender las limitaciones de sus modelos y los modos de error que pueden encontrarse sus modelos.
Empresa
Cumplimiento
Clientes
Bundesliga Match Facts, con tecnología de AWS, proporciona una experiencia más interactiva durante los partidos de fútbol a seguidores de la Bundesliga de todo el mundo. Con Amazon SageMaker Clarify, la Bundesliga puede explicar ahora de manera interactiva cuáles son algunos de los componentes clave y subyacentes al determinar qué llevó al modelo de ML a predecir un determinado valor de goles esperados. Conocer las respectivas atribuciones de la característica y explicar los resultados ayuda a depurar el modelo y aumentar la confianza en los algoritmos de ML, lo que genera predicciones de mayor calidad.
“Amazon SageMaker Clarify se integra sin problemas en el resto de la plataforma digital Bundesliga Match Facts y es clave en la estrategia a largo plazo de estandarización de nuestros flujos de trabajo de ML en Amazon SageMaker. Al usar la innovadora tecnología de AWS, como el machine learning, para ofrecer información en profundidad y proporcionar a los seguidores una mayor comprensión de las decisiones que se toman en el campo en décimas de segundo, Bundesliga Match Facts permite a los espectadores obtener más información sobre las decisiones clave de cada partido”.
Andreas Heyden, vicepresidente ejecutivo de innovaciones digitales de DFL Group
CAPCOM es una empresa de juegos japonesa famosa por títulos como Monster Hunter y Street Fighter. Para mantener la satisfacción de los usuarios, CAPCOM necesitaba asegurar la calidad de juego e identificar ratios de abandono y las tendencias asociadas.
“La combinación de AutoGluon y Amazon SageMaker Clarify permitió a nuestro modelo de abandono de clientes predecir el abandono de clientes con una precisión del 94 %. SageMaker Clarify nos ayuda a entender el comportamiento del modelo al proporcionar explicabilidad mediante los valores SHAP. Con SageMaker Clarify, redujimos el costo de cálculo de los valores SHAP hasta en un 50 % en comparación con un cálculo local. La solución conjunta nos permite comprender mejor el modelo y mejorar el nivel de satisfacción del cliente con un mayor índice de precisión y un importante ahorro de costos”.
Masahiro Takamoto, jefe del grupo de datos, CAPCOM
Domo forma parte de Business Cloud y está transformando la manera de administrar las empresas con la creación de una inteligencia empresarial para todo el mundo. Con Domo, los procesos críticos que tardaban semanas, meses o más ahora pueden hacerse en un abrir y cerrar de ojos, en minutos o segundos, en una escala antes imposible.
“Domo ofrece un conjunto escalable de soluciones de ciencia de datos que son fáciles de usar y comprender para cualquier persona en una organización. Con Clarify, nuestros clientes disponen de información importante sobre la forma en que sus modelos de IA hacen predicciones. La combinación de Clarify con Domo aumenta la velocidad y la inteligencia de la IA para nuestros clientes al poner la tecnología de la IA en manos de todos en sus negocios y ecosistemas”.
Doctor Ben Ainscough, director de IA y ciencia de datos de Domo
Varo Bank es un banco digital con sede en Estados Unidos que utiliza el ML y la IA para ayudar a tomar decisiones basadas en riesgos más rápidas y así ofrecer sus productos y servicios innovadores a los clientes.
“Varo tiene un fuerte compromiso con la transparencia y las explicaciones de los modelos de ML y estamos encantados de ver que los resultados de Amazon SageMaker Clarify nos hacen avanzar en nuestros esfuerzos”.
Sachin Shetty, director de ciencia de datos de Varo Money
Recursos
Novedades
- Fecha (de más reciente a más antigua)