Amazon SageMaker Model Monitor

Maintenir la précision des modèles de machine learning au fil du temps

Amazon SageMaker Model Monitor vous aide à maintenir des modèles de machine learning (ML) de haute qualité en détectant et en signalant automatiquement les prédictions imprécises des modèles déployés en production.

La précision des modèles de ML peut se détériorer avec le temps, un phénomène connu sous le nom de dérive de modèle (model drift). De nombreux facteurs peuvent provoquer la dérive d'un modèle, tels que des changements dans les caractéristiques du modèle. La précision des modèles de ML peut également être affectée par la dérive de concept, c'est-à-dire la différence entre les données utilisées pour entraîner les modèles et les données utilisées lors de l'inférence.

Amazon SageMaker Model Monitor vous aide à maintenir des modèles de ML de haute qualité en détectant les dérives de modèles et de concepts en temps réel, et en vous envoyant des alertes afin que vous puissiez prendre des mesures immédiates. La dérive du modèle et du concept est détectée en surveillant la qualité du modèle sur la base de variables indépendantes et dépendantes. Les variables indépendantes (aussi appelées caractéristiques) sont les entrées d'un modèle de ML, les variables dépendantes sont les sorties du modèle. Par exemple, avec un modèle de ML prédisant l'approbation d'un prêt bancaire, les variables indépendantes pourraient être l'âge, le revenu et les antécédents de crédit du demandeur, et la variable dépendante serait le résultat réel de la demande de prêt. En outre, SageMaker Model Monitor surveille constamment les caractéristiques de performance du modèle telles que la précision qui mesure le nombre de prédictions correctes par rapport au nombre total de prédictions afin que vous puissiez prendre des mesures pour corriger les anomalies.

De plus, SageMaker Model Monitor est intégré à Amazon SageMaker Clarify pour vous aider à identifier les biais potentiels dans vos modèles de ML grâce à la détection des biais de modèle.

Collecte et surveillance des données

Avec Amazon SageMaker Model Monitor, vous pouvez sélectionner les données que vous souhaitez surveiller et analyser sans avoir à écrire de code. SageMaker Model Monitor vous permet de sélectionner des données dans un menu d'options telles que la sortie de prédiction, et capture des métadonnées telles que l'horodatage, le nom du modèle et le point de terminaison afin que vous puissiez analyser les prédictions du modèle en fonction des métadonnées. Vous pouvez spécifier le taux d'échantillonnage de la capture de données sous forme de pourcentage du trafic global dans le cas de prédictions en temps réel à grand volume, et les données sont stockées dans votre propre compartiment Amazon S3. Vous pouvez également chiffrer ces données, configurer une sécurité renforcée, définir des politiques de conservation des données et mettre en place des mécanismes de contrôle d'accès pour un accès sécurisé.

Analyse intégrée

Amazon SageMaker Model Monitor offre une analyse intégrée sous forme de règles statistiques, pour détecter les dérives dans la qualité des données et des modèles. Vous pouvez également écrire des règles personnalisées et spécifier des seuils pour chaque règle. Les règles peuvent ensuite être utilisées pour analyser les performances du modèle. SageMaker Model Monitor exécute les règles sur les données collectées, détecte les anomalies et enregistre les violations des règles.

Visualisations

Toutes les métriques émises par Amazon SageMaker Model Monitor peuvent être collectées et visualisées dans Amazon SageMaker Studio, ce qui vous permet d'analyser visuellement les performances de votre modèle sans avoir à écrire de code supplémentaire. Non seulement vous pouvez visualiser vos métriques, mais vous pouvez également exécuter une analyse ad hoc dans une instance de bloc-notes SageMaker pour mieux comprendre vos modèles.

Prévision de modèle en cours

Amazon SageMaker Model Monitor vous permet d'ingérer les données de votre application de ML afin de calculer les performances du modèle. Les données sont stockées dans Amazon S3 et sécurisées grâce à un contrôle d'accès, un cryptage et des politiques de conservation des données.

Planification de la surveillance

Vous pouvez surveiller vos modèles de ML en planifiant des tâches de surveillance via Amazon SageMaker Model Monitor. Vous pouvez lancer automatiquement des tâches de surveillance pour analyser les prédictions du modèle pendant une période donnée. Vous pouvez également avoir plusieurs planifications sur un point de terminaison SageMaker.

Intégration avec Amazon SageMaker Clarify

Amazon SageMaker Model Monitor est intégré à Amazon SageMaker Clarify pour améliorer la visibilité des biais potentiels. Même si vos données ou votre modèle d'origine ne présentaient pas de biais, des changements dans le monde peuvent provoquer l'apparition de biais au fil du temps dans un modèle qui a déjà été entraîné. Par exemple, un changement important dans la démographie des acheteurs de maison pourrait entraîner un biais dans un modèle d'application de prêt immobilier si certaines populations n'étaient pas présentes dans les données d'entraînement d'origine. L'intégration à SageMaker Clarify vous permet de configurer des systèmes d'alerte tels que Amazon CloudWatch pour vous notifier si votre modèle commence à développer un biais.

Rapports et alertes

Les rapports générés par les tâches de surveillance peuvent être sauvegardés dans Amazon S3 pour une analyse plus approfondie. Amazon SageMaker Model Monitor émet des métriques vers Amazon CloudWatch où vous pouvez consommer des notifications pour déclencher des alarmes ou des actions correctives telles que le recyclage du modèle ou l'audit des données. Les métriques incluent des informations telles que les règles qui ont été violées et les informations d'horodatage. SageMaker Model Monitor s'intègre également à d'autres outils de visualisation, notamment Tensorboard, Amazon QuickSight et Tableau.

Cas d'utilisation

Valeurs aberrantes ou anomalies

Utilisez Amazon SageMaker Model Monitor pour détecter lorsque les prédictions sont en dehors de la plage attendue ou à la limite de ce qui est attendu, comme une valeur minimale ou maximale. Par exemple, vous pouvez vous attendre à ce que la température se situe entre 65°F et 75°F, donc un résultat hors limite serait de 50°F. Ce résultat hors limite sera signalé comme une anomalie.

Dérive des données

Utilisez Amazon SageMaker Model Monitor pour détecter lorsque les prédictions sont faussées en raison de conditions réelles telles que des lectures de capteur inexactes causées par des capteurs vieillissants. Amazon SageMaker Model Monitor détecte les distorsions de données en comparant les données du monde réel à un ensemble de données de référence, comme un ensemble de données d'entraînement ou un ensemble de données d'évaluation.

Observations du monde réel

Souvent, de nouvelles données sont introduites dans le monde réel et vous voulez donc pouvoir ajuster votre modèle pour tenir compte des nouvelles caractéristiques. Par exemple, un modèle de conduite autonome doit être mis à jour pour les véhicules autonomes afin de détecter de nouveaux objets sur la route. Amazon SageMaker Model Monitor détecte les nouvelles observations afin que vous puissiez maintenir vos modèles à jour.

Démarrer avec Amazon SageMaker Data Wrangler