Amazon SageMaker Clarify

Detecte sesgos en los datos y modelos de ML y explique las predicciones de modelos

Explique cómo las características de entrada han contribuido a las predicciones del modelo en tiempo real.

Detecte un posible sesgo durante la preparación de los datos, después del entrenamiento de modelos y en el modelo implementado.

Identifique cualquier cambio en el sesgo y la importancia de las características después de la implementación.

Amazon SageMaker Clarify proporciona a los desarrolladores de machine learning (ML) herramientas especialmente diseñadas para obtener una mayor comprensión de sus datos y modelos de entrenamiento de ML. SageMaker Clarify detecta y mide el sesgo potencial mediante una variedad de métricas para que los desarrolladores de ML puedan abordar el sesgo potencial y explicar las predicciones del modelo.

SageMaker Clarify puede detectar posibles sesgos durante la preparación de los datos, después del entrenamiento de modelos, y en el modelo implementado. Por ejemplo, puede comprobar el sesgo relacionado con la edad en el conjunto de datos o en el modelo entrenado y recibir un informe detallado que cuantifique los diferentes tipos de sesgos posibles. SageMaker Clarify también incluye puntuaciones de importancia de características que lo ayudan a explicar cómo el modelo hace predicciones y genera informes de explicación en masa o en tiempo real a través de la explicación a través de Internet. Puede utilizar estos informes con el fin de apoyar las presentaciones internas o de los clientes o para identificar posibles problemas con el modelo.

Funcionamiento

Detecte el sesgo en los datos y en las predicciones del modelo

Identificación de desajustes en los datos

Con SageMaker Clarify, puede identificar posibles sesgos durante la preparación de datos sin tener que escribir su propio código como parte de Amazon SageMaker Data Wrangler. Tiene que especificar las características de entrada, como el género o la edad, y luego SageMaker Clarify ejecuta un trabajo de análisis para detectar posibles sesgos en esas características. Luego, SageMaker Clarify proporciona un informe visual con una descripción de las métricas y medidas del sesgo potencial para que pueda identificar los pasos para corregir el sesgo. Por ejemplo, en un conjunto de datos financiero que contiene solo unos pocos ejemplos de préstamos empresariales a un grupo de edad en comparación con otros, las métricas de sesgo indicarán el desequilibrio a fin de que pueda abordarlos en su conjunto de datos y posiblemente reducir el riesgo de tener un modelo que es desproporcionadamente inexacto para un grupo de edad específico.

En caso de desequilibrios, puede usar SageMaker Data Wrangler para equilibrar sus datos. SageMaker Data Wrangler ofrece tres operadores de equilibrio: submuestreo aleatorio, sobremuestreo aleatorio y SMOTE para volver a equilibrar los datos en los conjuntos de datos desequilibrados. Lea nuestra publicación en el blog para obtener más información.

Verificación de sesgos en el modelo entrenado

Una vez que entrene su modelo, puede ejecutar un análisis de sesgo de SageMaker Clarify a través de los Experimentos de Amazon SageMaker para verificar si este tiene un sesgo potencial, como predicciones que producen un resultado negativo con más frecuencia para un grupo que para otro. Tiene que especificar las características de entrada con respecto a las cuales le gustaría medir el sesgo en los resultados del modelo, como la edad, y SageMaker ejecuta un análisis y le proporciona un informe visual que identifica los diferentes tipos de sesgo para cada característica, como si los grupos de mayor edad reciben predicciones más positivas en comparación con los grupos jóvenes.

El método de código abierto de AWS Fair Bayesian Optimization puede ayudar a mitigar el sesgo al ajustar los hiperparámetros de un modelo. Lea nuestra publicación del blog aquí para aprender a aplicar Fair Bayesian Optimization a fin de mitigar el sesgo mientras se optimiza la precisión de un modelo de ML.

Supervisión de sesgos en el modelo

SageMaker Clarify ayuda a los científicos de datos y a los ingenieros de machine learning a supervisar las predicciones en busca de sesgos de manera regular. El sesgo se puede introducir o exacerbar en los modelos de ML implementados cuando los datos de formación difieren de los datos en directo que el modelo ve durante la implementación. Por ejemplo, los resultados de un modelo para predecir los precios de la vivienda pueden estar sesgados si los tipos hipotecarios usados para formar el modelo difieren de los tipos hipotecarios actuales. Las capacidades de detección de sesgos de Amazon SageMaker Clarify están integradas en el Monitor de modelos de Amazon SageMaker, de modo que, cuando SageMaker detecta sesgos más allá de un determinado umbral, genera métricas de manera automática que puede ver en Amazon SageMaker Studio y a través de las métricas y alarmas de Amazon CloudWatch.

Explique las predicciones del modelo

Comprenda qué características contribuyen más a la predicción del modelo

SageMaker Clarify está integrado con Experimentos de SageMaker con el fin de proporcionar puntuaciones que detallan qué características contribuyeron más a la predicción del modelo en una entrada particular para modelos tabulares, de procesamiento de lenguaje natural (NLP) y de visión artificial. Para los conjuntos de datos tabulares, SageMaker Clarify también puede producir un gráfico de importancia de características agregadas que proporciona información sobre el proceso de predicción general del modelo. Estos detalles pueden ayudar a determinar si la entrada de un modelo en particular posee más influencia de la que debería tener en el comportamiento general del modelo. Para los datos tabulares, además de las puntuaciones de importancia de las características, también se pueden utilizar gráficos de dependencia parcial (PDP), a fin de mostrar la dependencia de la respuesta de destino predicha en un conjunto de características de entrada de interés.

Explique los modelos de visión artificial y NLP

SageMaker Clarify también puede proporcionar información sobre los modelos de visión artificial y de procesamiento de lenguaje natural (NLP). Para los modelos de visión, puede ver qué partes de la imagen el modelo encontró como más importante con SageMaker Clarify. Para los modelos de NLP, SageMaker Clarify proporciona puntuaciones de importancia de características a nivel de palabras, frases o párrafos.

Monitoreo de cambios del comportamiento en el modelo

Los cambios en los datos en vivo pueden exponer un nuevo comportamiento del modelo. Por ejemplo, un modelo de predicción del riesgo crediticio formado en los datos de una región geográfica podría cambiar la importancia que asigna a varias características cuando se aplica a los datos de otra región. SageMaker Clarify está integrado con el Monitor de modelos de SageMaker para notificarle mediante sistemas de alerta como CloudWatch si la importancia de las características de entrada cambia y provoca un cambio en el comportamiento del modelo.

Explique las predicciones individuales del modelo en tiempo real

SageMaker Clarify puede proporcionar puntuaciones que detallan qué características contribuyeron más a la predicción individual del modelo después de que se haya ejecutado con datos nuevos. Estas informaciones pueden ayudar a determinar si una característica de entrada en particular influye más de lo esperado en las predicciones del modelo. Puede ver esta información para cada predicción en tiempo real mediante la explicabilidad a través de Internet u obtener un informe masivo que usa el procesamiento por lote de todas las predicciones individuales.

Casos de uso

Ciencia de datos

Los científicos de datos e ingenieros de machine learning (ML) necesitan herramientas para generar la información necesaria para solucionar los errores y mejorar los modelos de ML mediante una mejor ingeniería de características. Estos datos los ayudan a determinar si un modelo está creando interferencias con características ruidosas o irrelevantes y a entender las limitaciones de sus modelos y los modos de error que pueden encontrarse sus modelos.

Empresa

La adopción de sistemas de IA requiere transparencia. Esto se consigue mediante explicaciones fiables de los modelos entrenados y las predicciones. La capacidad de explicación de los modelos puede ser especialmente importante para ciertos sectores con requisitos de fiabilidad, seguridad y conformidad, como los servicios financieros, los recursos humanos, la atención sanitaria y el transporte automatizado.

Cumplimiento

Es posible que las empresas necesiten explicar ciertas decisiones y tomar medidas en torno a la administración del riesgo del modelo. SageMaker Clarify puede ayudar a detectar cualquier posible sesgo presente en los datos iniciales o en el modelo después del entrenamiento, así como ayudar a explicar qué características del modelo contribuyeron en mayor medida a la predicción de un modelo de ML.

Clientes

Bundesliga

Bundesliga Match Facts, con tecnología de AWS, proporciona una experiencia más interactiva durante los partidos de fútbol a seguidores de la Bundesliga de todo el mundo. Con Amazon SageMaker Clarify, la Bundesliga puede explicar ahora de manera interactiva cuáles son algunos de los componentes clave y subyacentes al determinar qué llevó al modelo de ML a predecir un determinado valor de goles esperados. Conocer las respectivas atribuciones de la característica y explicar los resultados ayuda a depurar el modelo y aumentar la confianza en los algoritmos de ML, lo que genera predicciones de mayor calidad.

“Amazon SageMaker Clarify se integra sin problemas en el resto de la plataforma digital Bundesliga Match Facts y es clave en la estrategia a largo plazo de estandarización de nuestros flujos de trabajo de ML en Amazon SageMaker. Al usar la innovadora tecnología de AWS, como el machine learning, para ofrecer información en profundidad y proporcionar a los seguidores una mayor comprensión de las decisiones que se toman en el campo en décimas de segundo, Bundesliga Match Facts permite a los espectadores obtener más información sobre las decisiones clave de cada partido”.

Andreas Heyden, vicepresidente ejecutivo de innovaciones digitales de DFL Group

capcom

CAPCOM es una empresa de juegos japonesa famosa por títulos como Monster Hunter y Street Fighter. Para mantener la satisfacción de los usuarios, CAPCOM necesitaba asegurar la calidad de juego e identificar ratios de abandono y las tendencias asociadas.

“La combinación de AutoGluon y Amazon SageMaker Clarify permitió a nuestro modelo de abandono de clientes predecir el abandono de clientes con una precisión del 94 %. SageMaker Clarify nos ayuda a entender el comportamiento del modelo al proporcionar explicabilidad mediante los valores SHAP. Con SageMaker Clarify, redujimos el costo de cálculo de los valores SHAP hasta en un 50 % en comparación con un cálculo local. La solución conjunta nos permite comprender mejor el modelo y mejorar el nivel de satisfacción del cliente con un mayor índice de precisión y un importante ahorro de costos”.

Masahiro Takamoto, jefe del grupo de datos, CAPCOM

DOMO

Domo forma parte de Business Cloud y está transformando la manera de administrar las empresas con la creación de una inteligencia empresarial para todo el mundo. Con Domo, los procesos críticos que tardaban semanas, meses o más ahora pueden hacerse en un abrir y cerrar de ojos, en minutos o segundos, en una escala antes imposible.

“Domo ofrece un conjunto escalable de soluciones de ciencia de datos que son fáciles de usar y comprender para cualquier persona en una organización. Con Clarify, nuestros clientes disponen de información importante sobre la forma en que sus modelos de IA hacen predicciones. La combinación de Clarify con Domo aumenta la velocidad y la inteligencia de la IA para nuestros clientes al poner la tecnología de la IA en manos de todos en sus negocios y ecosistemas”.

Doctor Ben Ainscough, director de IA y ciencia de datos de Domo

Varo

Varo Bank es un banco digital con sede en Estados Unidos que utiliza el ML y la IA para ayudar a tomar decisiones basadas en riesgos más rápidas y así ofrecer sus productos y servicios innovadores a los clientes.

“Varo tiene un fuerte compromiso con la transparencia y las explicaciones de los modelos de ML y estamos encantados de ver que los resultados de Amazon SageMaker Clarify nos hacen avanzar en nuestros esfuerzos”.

Sachin Shetty, director de ciencia de datos de Varo Money

Recursos

Video

Understand ML model predictions and biases

Seminario web

Vea el seminario web de 60 minutos sobre la explicación de los modelos de ML

Tutorial

Siga las instrucciones paso a paso

Blog

Aprenda cómo Amazon SageMaker Clarify ayuda a detectar el sesgo

Blocs de notas de ejemplo

Explore muestras de código

Guía para desarrolladores

Lea la documentación técnica

Documento técnico

Profundice en la detección de sesgos y explicación de modelos

Documento técnico

Fairness Measures for ML in Finance

Novedades

Fecha (de más reciente a más antigua)
  • Fecha (de más reciente a más antigua)
No se encontraron resultados
1