Amazon SageMaker Clarify

Detección de sesgos en modelos de ML y comprensión de las predicciones de los modelos

Amazon SageMaker Clarify proporciona a los desarrolladores de machine learning una mayor visibilidad de los datos y modelos de formación para que puedan identificar y limitar los sesgos y explicar las predicciones.

Los sesgos son desajustes en el comportamiento de las predicciones o los datos de formación del modelo entre diferentes grupos, como la edad o el nivel de ingresos. Los sesgos pueden ser resultado de los datos o el algoritmo utilizado para la formación del modelo. Por ejemplo, si un modelo de aprendizaje automático se entrena principalmente con datos de personas de mediana edad, puede ser menos preciso cuando se hagan predicciones que impliquen a personas más jóvenes o mayores. El campo de aprendizaje automático proporciona una oportunidad de abordar sesgos al detectarlos y medirlos en sus datos y modelo. También puede ver la importancia de los aportes del modelo para explicar por qué los modelos hacen las predicciones que hacen.

Amazon SageMaker Clarify detecta un posible sesgo durante la preparación de los datos, después de la formación de modelos y en el modelo implementado mediante el examen de los atributos que especifique. Por ejemplo, puede buscar un sesgo relacionado con la edad en el conjunto de datos o en el modelo formado y recibir un informe detallado que cuantifique los diferentes tipos de sesgos posibles. SageMaker Clarify también incluye gráficos de importancia de características que le ayudan a explicar las predicciones de los modelos y produce informes que pueden usarse para sustentar presentaciones internas o identificar problemas con el modelo para poder tomar medidas y corregirlos.

Understand ML model predictions and biases with Amazon SageMaker Clarify (24:08)

Detección de sesgos en los datos o en el modelo

Identificación de desajustes en los datos

SageMaker Clarify se integra en Amazon SageMaker Data Wrangler, lo que facilita aún más la identificación de sesgos durante la preparación de los datos. Solo tiene que especificar los atributos que le interesan, como el sexo o la edad, y SageMaker Clarify ejecutará un conjunto de algoritmos para detectar cualquier sesgo en dichos atributos. Después de ejecutar el algoritmo, SageMaker Clarify proporciona un informe visual con una descripción de las fuentes y las medidas de los posibles sesgos para que pueda identificar los pasos que tiene que seguir para corregir los sesgos. Por ejemplo, en un conjunto de datos financieros que contiene algunos ejemplos de préstamos empresariales a un grupo de edad en comparación con otros grupos de edad, SageMaker marcará el desajuste para evitar el uso de un modelo que perjudique a ese grupo de edad.

Verificación de sesgos en el modelo formado

También puede verificar si hay sesgos en el modelo formado, como predicciones que producen un resultado negativo con más frecuencia en un grupo que en otros. SageMaker Clarify se integra en SageMaker Experiments para que, después de que se haya formado un modelo, pueda identificar los atributos en los que quiere verificar si hay sesgos, como la edad. SageMaker ejecuta un conjunto de algoritmos para verificar el modelo formado y proporciona un informe visual en el que se identifican los distintos sesgos de cada atributo; por ejemplo, si los grupos de gente de más edad recibe predicciones más positivas en comparación con grupos de jóvenes.

Monitoreo de sesgos en el modelo

Aunque no hubiera sesgos en el modelo o los datos iniciales, los cambios en el mundo pueden hacer que aparezcan en un modelo que ya se ha formado. Por ejemplo, un cambio significativo en la demografía de compradores de casas puede provocar la aparición de sesgos en un modelo de solicitud de préstamos hipotecarios si algunos grupos no estaban presentes o no estaban representados con precisión en los datos de formación originales. SageMaker Clarify se integra en SageMaker Model Monitor, lo que le permite configurar sistemas de alertas como Amazon CloudWatch para recibir notificaciones si el modelo supera determinados umbrales en las métricas de sesgos. 

Explicación del comportamiento del modelo

Comprensión del modelo

Los modelos formados pueden tener más en cuenta algunas entradas del modelo que otras al generar predicciones. Por ejemplo, un modelo de solicitud de préstamos puede dar más valor al historial de crédito en lugar de otros factores. SageMaker Clarify se integra en SageMaker Experiments para proporcionar un gráfico que detalla qué características han contribuido más al proceso de predicción general del modelo después de que este se haya formado. Estos detalles pueden ser útiles para los requisitos de conformidad o ayudar a determinar si la entrada de un modelo en particular posee más influencia de la que debería tener en el comportamiento general del modelo.

Monitoreo de cambios del comportamiento en el modelo

Los cambios en los datos reales pueden hacer que el modelo pondere de distintas formas las entradas del modelo, lo que cambia el comportamiento con el tiempo. Por ejemplo, un descenso en los precios de las casas podría hacer que el modelo tenga menos en cuenta los ingresos al hacer predicciones de préstamos. Amazon SageMaker Clarify se integra en SageMaker Model Monitor para alertarle de la importancia de los cambios en las entradas del modelo, lo que causaría un cambio en el comportamiento del modelo.

Explicación de predicciones de modelos individuales

Los clientes y los inversores internos quieren conocer con total transparencia cómo predicen los modelos. SageMaker Clarify se integra en SageMaker Experiments para mostrarle la importancia de cada entrada del modelo para una predicción específica. Se pueden poner los resultados a disposición de los empleados de servicio al cliente para que comprendan el comportamiento del modelo al tomar decisiones en función de las predicciones del modelo.

Casos de uso

Conformidad normativa

Normativas como la Ley de Igualdad de Oportunidades de Crédito (ECOA) o La Ley de Legitimidad de la Vivienda pueden requerir que las empresas expliquen las decisiones financieras y tomen medidas relacionadas con la administración de riesgos del modelo. Amazon SageMaker Clarify puede ayudar a marcar cualquier posible sesgo en los datos iniciales o en el modelo después de la formación, así como ayudar a explicar qué características del modelo contribuyeron en mayor medida a la predicción de un modelo de ML.

Conformidad e informes internos

Los equipos de ciencia de datos suelen tener que justificar o explicar los modelos de ML a inversores internos, como ejecutivos o auditores internos. Amazon SageMaker Clarify puede proporcionar a los equipos de ciencia de datos un gráfico de importancia de características cuando lo soliciten y ayudar a medir posibles sesgos en el modelo de ML o los datos usados para formarlo con el objetivo de proporcionar información adicional necesaria para los requisitos internos.

Servicio al cliente

Los empleados de servicio al cliente, como asesores financieros o agentes de préstamos, pueden revisar una predicción de un modelo de ML como parte de su trabajo. Al trabajar con el equipo de ciencia de datos, estos empleados pueden obtener un informe visual a través de la API directamente desde Amazon SageMaker Clarify con detalles sobre las características más importantes de una determinada predicción para revisarla antes de tomar decisiones que afecten a los clientes.

Clientes

Varo_Logo

Varo Bank es un banco digital con sede en Estados Unidos que utiliza el ML y la IA para ayudar a tomar decisiones basadas en riesgos más rápidas y así ofrecer sus productos y servicios innovadores a los clientes.

“Varo tiene un fuerte compromiso con la transparencia y las explicaciones de los modelos de ML y estamos encantados de ver que los resultados de Amazon SageMaker Clarify nos hacen avanzar en nuestros esfuerzos”.

Sachin Shetty, director de ciencia de datos, Varo Money

Bundesliga_Logo

Bundesliga Match Facts, powered by AWS, proporciona una experiencia más interactiva durante los partidos de fútbol a seguidores de la Bundesliga de todo el mundo. Con Amazon SageMaker Clarify, la Bundesliga puede explicar ahora de manera interactiva cuáles son algunos de los componentes clave y subyacentes al determinar qué llevó al modelo de ML a predecir un determinado valor de goles esperados. Conocer las respectivas atribuciones de la característica y explicar los resultados ayuda a depurar el modelo y aumentar la confianza en los algoritmos de ML, lo que genera predicciones de mayor calidad.

“Amazon SageMaker Clarify se integra sin problemas en el resto de la plataforma digital Bundesliga Match Facts y es clave en la estrategia a largo plazo de estandarización de nuestros flujos de trabajo de ML en Amazon SageMaker. Al usar la innovadora tecnología de AWS, como el machine learning, para ofrecer información en profundidad y proporcionar a los seguidores una mayor comprensión de las decisiones que se toman en el campo en décimas de segundo, Bundesliga Match Facts permite a los espectadores obtener más información sobre las decisiones clave de cada partido”.

Andreas Heyden, vicepresidente ejecutivo de innovaciones digitales del grupo DFL

Zopa_Logo
“Zopa es un banco digital y prestamista entre particulares con sede en el Reino Unido. En nuestras aplicaciones de machine learning, como la aplicación de detección de fraude, es importante para nosotros comprender cómo contribuye cada factor a la decisión del modelo. Ver el razonamiento del modelo da confianza a los inversores internos y externos. También ayuda al equipo de operaciones a responder con más rapidez y proporcionar un mejor servicio a nuestros clientes. Con Amazon SageMaker Clarify, ahora podemos producir explicaciones del modelo más rápidamente y sin problemas”.

Jiahang Zhong, director de ciencia de datos, Zopa

Recursos para Amazon SageMaker Clarify

Interpretability and explainability in machine learning (27:25)

Comience a utilizar Amazon SageMaker Clarify