Amazon SageMaker Clarify

Détection de biais dans les modèles ML et compréhension des prédictions des modèles

Amazon SageMaker Clarify offre aux développeurs de machine learning une plus grande visibilité sur leurs données et modèles d'entraînement, afin qu'ils puissent identifier et limiter les biais et expliquer les prédictions.

Les biais sont des déséquilibres dans les données d'entraînement ou dans le comportement de prédiction du modèle entre différents groupes, tels que l'âge ou la tranche de revenu. Les biais peuvent résulter de données ou d'algorithmes utilisés pour entraîner votre modèle. Par exemple, si un modèle de ML est entraîné principalement sur des données provenant de personnes d'âge moyen, il peut s'avérer moins précis lors de prédictions impliquant des personnes plus jeunes ou plus âgées. Le domaine du Machine Learning offre la possibilité d'aborder les biais en les détectant et en les mesurant dans vos données et votre modèle. Vous pouvez également vous pencher sur l'importance des entrées des modèles pour expliquer pourquoi les modèles font les prédictions qu'ils font.

Amazon SageMaker Clarify détecte les biais potentiels pendant la préparation des données, après l'entraînement du modèle, et dans votre modèle déployé, en examinant les attributs que vous spécifiez. Par exemple, vous pouvez vérifier s'il existe un biais lié à l'âge dans l'ensemble de données de départ, ou dans le modèle entraîné, et recevoir un rapport détaillé qui quantifie les différents types de biais possibles. SageMaker Clarify comprend également des graphiques d'importance des caractéristiques qui vous aident à expliquer les prédictions du modèle et génère des rapports qui peuvent être utilisés pour soutenir des présentations internes ou identifier les problèmes de votre modèle, afin que vous puissiez prendre des mesures pour les corriger.

Détection de biais dans vos données et dans votre modèle

Identification des déséquilibres dans les données

SageMaker Clarify est intégré à Amazon SageMaker Data Wrangler, ce qui permet une identification de biais aisée pendant la préparation des données. Vous spécifiez les attributs qui vous intéressent, tels que le genre ou l'âge, et SageMaker Clarify exécute un ensemble d'algorithmes pour détecter toute présence de biais dans ces attributs. Après l'exécution de l'algorithme, SageMaker Clarify présente un rapport visuel avec une description des sources et des mesures de biais possible afin de vous permettre d'identifier des mesures de correction du biais. Par exemple, dans un ensemble de données financier qui ne contient que quelques exemples de prêts commerciaux à un groupe d'âges par rapport à d'autres, SageMaker signale le déséquilibre afin que vous puissiez éviter un modèle qui défavorise ce groupe d'âges.

Contrôle de biais dans votre modèle entraîné

Vous pouvez également rechercher un biais dans votre modèle entraîné, par exemple des prédictions qui produisent un résultat négatif plus souvent pour un groupe que pour un autre. SageMaker Clarify est intégré à SageMaker Experiments de sorte que, après l'entraînement d'un modèle, vous pouvez identifier les attributs pour lesquels vous souhaiteriez rechercher un biais, par exemple l'âge. SageMaker exécute un ensemble d'algorithmes pour vérifier le modèle entraîné et vous présente un rapport visuel qui identifie les différents types de biais pour chaque attribut, par exemple le fait que des groupes plus âgés reçoivent plus de prédictions positives que des groupes plus jeunes.

Surveillance de biais de votre modèle

Même si vos données et votre modèle d'origine ne présentaient pas de biais, des changements dans le monde peuvent introduire un biais dans un modèle déjà entraîné. Par exemple, un changement important dans la démographie des acheteurs de maisons pourraient entraîner un biais dans un modèle d'application de prêt immobilier si certains groupes étaient absents ou représentés de manière imprécise dans les données d'entraînement d'origine. SageMaker Clarify est intégré à SageMaker Model Monitor, ce qui vous permet de configurer des systèmes d'alerte comme Amazon CloudWatch pour vous avertir si votre modèle dépasse certains seuils de métriques de biais. 

Explication du comportement du modèle

Compréhension de votre modèle

Les modèles entraînés peuvent accorder plus de poids à certaines entrées qu'à d'autres lors de la génération de prédictions. Par exemple, le modèle d'une application de prêt peut pondérer plus l'historique de crédit que d'autres facteurs. SageMaker Clarify est intégré à SageMaker Experiments pour présenter un graphique qui détaille les caractéristiques qui ont le plus contribué au processus global de prédiction de votre modèle après son entraînement. Ces informations peuvent s'avérer utiles dans le cadre d'exigences en matière de conformité ou contribuer à déterminer si une entrée spécifique du modèle a plus d'influence qu'elle ne le devrait sur le comportement global du modèle.

Surveillances des modifications de comportement de votre modèle

Des changements dans les données du monde réel peuvent amener un modèle à appliquer une pondération différente aux entrées du modèle, entraînant un changement de son comportement dans le temps. Par exemple, une baisse des prix de l'immobilier résidentiel pourrait amener un modèle à accorder moins de poids au revenu lors des prédictions de prêt. Amazon SageMaker Clarify est intégré à SageMaker Model Monitor afin de vous alerter si l'importance d'entrées du modèle bouge et entraîne un changement de comportement du modèle.

Explication des différentes prédictions de modèles

Les clients et les parties intéressées en interne veulent de la transparence sur le mode de prédiction des modèles. SageMaker Clarify s'intègre à SageMaker Experiments pour vous montrer l'importance de chaque entrée du modèle pour une prédiction spécifique. Les résultats peuvent être mis à disposition d'employés en contact direct avec les clients afin qu'ils comprennent le comportement du modèle lorsqu'ils prennent des décisions fondées sur les prédictions du modèle.

Cas d'utilisation

Conformité règlementaire

Des réglementations, telles que la loi américaine pour l'accès équitable au crédit Equal Credit Opportunity Act (ECOA) ou la loi américaine anti-discrimination dans le domaine de l'immobilier Fairness in Housing Act, peuvent exiger des entreprises qu'elles soient à même d'expliquer des décisions financières et de prendre des mesures en matière de gestion des risques des modèles. Amazon SageMaker Clarify peut contribuer à identifier la présence d'un biais potentiel dans les données d'origine ou dans le modèle après entraînement et peut également expliquer quelles caractéristiques du modèle ont le plus contribué à la prédiction d'un modèle ML.

Rapports internes et conformité

Les équipes de science des données sont souvent tenues de justifier ou d'expliquer les modèles ML aux parties intéressées internes, telles que les auditeurs internes ou les cadres. Amazon SageMaker Clarify peut fournir aux équipes de science des données un graphique de l'importance d'une caractéristique à la demande et aider à quantifier le biais potentiel dans un modèle ML ou dans les données utilisées pour l'entraîner afin de fournir les informations supplémentaires nécessaires pour répondre aux exigences internes.

Service clients

Les employés en contact direct avec les clients, tels que les conseillers financiers ou les responsables crédit, peuvent analyser une prédiction faite par un modèle ML dans le cadre de leur travail. En travaillant avec l'équipe de science des données, ces employés peuvent obtenir un rapport visuel via API directement depuis Amazon SageMaker Clarify avec des détails sur les caractéristiques les plus importantes dans une prédiction donnée et ce, afin de l'analyser avant de prendre des décisions qui peuvent avoir un impact sur les clients.

Études de cas

Banque numérique américaine, Varo Bank utilise l'intelligence artificielle et le machine learning pour prendre rapidement des décisions basées sur les risques afin de proposer des produits et services innovants aux clients.

« Chez Varo, nous sommes très attachés à l'explicabilité et à la transparence de nos modèles ML et nous sommes heureux de voir les résultats d'Amazon Sagemaker Clarify contribuer à ces efforts. »

Sachin Shetty, Responsable de la science des données, Varo Money

Les analyses Bundesliga Match Facts à technologie AWS offrent aux supporters de la Bundesliga à travers le monde une expérience plus captivante des matchs de football. Grâce à Amazon SageMaker Clarify, la Bundesliga peut désormais expliquer de manière interactive quels composants sous-jacents clés déterminent ce qui a conduit le modèle ML à prédire une certaine valeur xGoals. La connaissance des attributions des différentes caractéristiques et l'explication des résultats contribuent au débogage du modèle et à l'amélioration de la confiance dans les algorithmes ML, ce qui se traduit par des prédictions de meilleure qualité.

« Amazon SageMaker Clarify s'intègre de manière transparente au reste de la plateforme numérique Bundesliga Match Facts et est un élément clé de notre stratégie à long terme de standardisation de nos workflows ML sur Amazon SageMaker. En utilisant les technologies novatrices d'AWS, comme le machine learning, pour fournir des informations plus approfondies et assurer aux fans une meilleure compréhension des décisions prises en une fraction de seconde sur le terrain, Bundesliga Match Facts permet aux spectateurs d'avoir une idée plus précise des décisions clés de chaque match. »

Andreas Heyden, vice-président exécutif des innovations numériques pour le groupe DFL

« Basée au Royaume-Uni, Zopa est une banque numérique et une plateforme de prêt entre particuliers. Dans nos applications de machine learning, comme notre application de détection de fraudes, il est essentiel pour nous de comprendre dans quelle mesure chaque facteur contribue à la décision du modèle. La visibilité sur le raisonnement du modèle donne confiance à nos parties intéressées, tant internes qu'externes. Elle permet également à notre équipe opérationnelle de réagir plus rapidement et d'offrir un meilleur service à nos clients. Avec Amazon SageMaker Clarify, nous pouvons désormais produire des explications des modèles plus précisément et de manière transparente. »

Jiahang Zhong, Responsable de la science des données, Zopa

Commencer avec Amazon SageMaker Clarify