Amazon SageMaker Model Monitor

Maintenir la précision des modèles de machine learning au fil du temps

Détectez automatiquement les écarts de modèles et de données et recevez des alertes à propos des prédictions inexactes, afin de pouvoir prendre des mesures correctives

Surveillance et génération de rapports en continu grâce à des outils de visualisation, par exemple Amazon QuickSight, Tensorboard et Tableau

Intégration à Amazon SageMaker Clarify pour faciliter la détection des biais potentiels dans les modèles ML après leur déploiement en production

Collecte et surveillance des données

Avec Amazon SageMaker Model Monitor, vous pouvez sélectionner les données que vous souhaitez surveiller et analyser sans avoir à écrire de code. SageMaker Model Monitor vous permet de sélectionner des données dans un menu d'options telles que la sortie de prédiction, et capture des métadonnées telles que l'horodatage, le nom du modèle et le point de terminaison afin que vous puissiez analyser les prédictions du modèle en fonction des métadonnées. Vous pouvez spécifier le taux d'échantillonnage de la capture de données sous forme de pourcentage du trafic global dans le cas de prédictions en temps réel à grand volume, et les données sont stockées dans votre propre compartiment Amazon S3. Vous pouvez également chiffrer ces données, configurer une sécurité renforcée, définir des politiques de conservation des données et mettre en place des mécanismes de contrôle d'accès pour un accès sécurisé.

Analyse intégrée

Amazon SageMaker Model Monitor offre une analyse intégrée sous forme de règles statistiques, pour détecter les dérives dans la qualité des données et des modèles. Vous pouvez également écrire des règles personnalisées et spécifier des seuils pour chaque règle. Les règles peuvent ensuite être utilisées pour analyser les performances du modèle. SageMaker Model Monitor exécute les règles sur les données collectées, détecte les anomalies et enregistre les violations des règles.

Visualisations

Toutes les métriques émises par Amazon SageMaker Model Monitor peuvent être collectées et visualisées dans Amazon SageMaker Studio, ce qui vous permet d'analyser visuellement les performances de votre modèle sans avoir à écrire de code supplémentaire. Non seulement vous pouvez visualiser vos métriques, mais vous pouvez également exécuter une analyse ad hoc dans une instance de bloc-notes SageMaker pour mieux comprendre vos modèles.

Prévision de modèle en cours

Amazon SageMaker Model Monitor vous permet d'ingérer les données de votre application de ML afin de calculer les performances du modèle. Les données sont stockées dans Amazon S3 et sécurisées grâce à un contrôle d'accès, un cryptage et des politiques de conservation des données.

Planification de la surveillance

Vous pouvez surveiller vos modèles de ML en planifiant des tâches de surveillance via Amazon SageMaker Model Monitor. Vous pouvez lancer automatiquement des tâches de surveillance pour analyser les prédictions du modèle pendant une période donnée. Vous pouvez également avoir plusieurs planifications sur un point de terminaison SageMaker.

Intégration avec Amazon SageMaker Clarify

Amazon SageMaker Model Monitor est intégré à Amazon SageMaker Clarify pour améliorer la visibilité des biais potentiels. Même si vos données ou votre modèle d'origine ne présentaient pas de biais, des changements dans le monde peuvent provoquer l'apparition de biais au fil du temps dans un modèle qui a déjà été entraîné. Par exemple, un changement important dans la démographie des acheteurs de maison pourrait entraîner un biais dans un modèle d'application de prêt immobilier si certaines populations n'étaient pas présentes dans les données d'entraînement d'origine. L'intégration à SageMaker Clarify vous permet de configurer des systèmes d'alerte tels que Amazon CloudWatch pour vous notifier si votre modèle commence à développer un biais.

Rapports et alertes

Les rapports générés par les tâches de surveillance peuvent être sauvegardés dans Amazon S3 pour une analyse plus approfondie. Amazon SageMaker Model Monitor émet des métriques vers Amazon CloudWatch où vous pouvez consommer des notifications pour déclencher des alarmes ou des actions correctives telles que le recyclage du modèle ou l'audit des données. Les métriques incluent des informations telles que les règles qui ont été violées et les informations d'horodatage. SageMaker Model Monitor s'intègre également à d'autres outils de visualisation, notamment Tensorboard, Amazon QuickSight et Tableau.

Cas d'utilisation

Valeurs aberrantes ou anomalies

Utilisez Amazon SageMaker Model Monitor pour détecter lorsque les prédictions sont en dehors de la plage attendue ou à la limite de ce qui est attendu, comme une valeur minimale ou maximale. Par exemple, vous pouvez vous attendre à ce que la température se situe entre 65°F et 75°F, donc un résultat hors limite serait de 50°F. Ce résultat hors limite sera signalé comme une anomalie.

Dérive des données

Utilisez Amazon SageMaker Model Monitor pour détecter lorsque les prédictions sont faussées en raison de conditions réelles telles que des lectures de capteur inexactes causées par des capteurs vieillissants. Amazon SageMaker Model Monitor détecte les distorsions de données en comparant les données du monde réel à un ensemble de données de référence, comme un ensemble de données d'entraînement ou un ensemble de données d'évaluation.

Observations du monde réel

Souvent, de nouvelles données sont introduites dans le monde réel et vous voulez donc pouvoir ajuster votre modèle pour tenir compte des nouvelles caractéristiques. Par exemple, un modèle de conduite autonome doit être mis à jour pour les véhicules autonomes afin de détecter de nouveaux objets sur la route. Amazon SageMaker Model Monitor détecte les nouvelles observations afin que vous puissiez maintenir vos modèles à jour.

Ressources

vidéo

Détecter la dérive des modèles ML en production (29:50)

Blog

Detect and analyze incorrect model predictions

BLOG

Automatic monitoring of ML models