Publié le: Dec 8, 2020
Amazon SageMaker Model Monitor surveille en permanence les modèles de machine learning pour détecter les dérives de concepts (c'est-à-dire les changements dans la distribution et les caractéristiques des données au fil du temps) et vous avertit en cas de déviation, afin que vous puissiez prendre des mesures correctives. À partir d'aujourd'hui, vous pouvez également utiliser Amazon SageMaker Model Monitor pour détecter les dérives dans la qualité des modèles, les biais et l'importance des caractéristiques. Grâce à ces nouvelles fonctionnalités entièrement gérées, SageMaker Model Monitor vous aide à maintenir en production des modèles de machine learning de haute qualité.
Amazon SageMaker Model Monitor permet actuellement de détecter la dérive de la qualité des données en suivant la différence entre les données qui ont été utilisées pour entraîner les modèles et celles qui sont présentées au modèle pour obtenir un score et en vous alertant des écarts pour vous permettre de prendre les mesures appropriées telles que l'audit des données ou le ré-entraînement des modèles. Aujourd'hui, nous ajoutons trois nouvelles fonctionnalités à SageMaker Model Monitor, permettant de détecter la dérive de la qualité du modèle, le biais du modèle et l'importance des caractéristiques.
Grâce au contrôle de la qualité des modèles, vous pouvez surveiller en temps réel les caractéristiques des modèles (telles que la précision, l'exactitude, le rappel, etc.) de vos modèles ML. SageMaker Model Monitor indique dans quelle mesure un modèle ML prédit les résultats en comparant les prédictions du modèle aux données de vérité de terrain. Pendant la surveillance du modèle, vous pouvez consulter des rapports et des graphiques exportables détaillant sa qualité dans l'instance Amazon S3, Amazon SageMaker Studio et SageMaker Notebook. Vous pouvez également configurer Amazon CloudWatch pour recevoir des notifications en cas de dérive de la qualité dans le modèle.
La surveillance des biais permet détecter régulièrement les biais dans vos modèles ML. SageMaker Model Monitor détermine régulièrement quand les métriques de biais dérivent vers des niveaux qui dépassent statistiquement des seuils prédéfinis. Grâce aux fonctionnalités de surveillance des biais dans Model Monitor, vous pouvez consulter les métriques et visualiser les résultats dans SageMaker Studio. Vous pouvez également configurer des alertes automatiques, afin que peut immédiatement déterminer quand votre modèle dépasse les seuils de métriques de biais que vous avez fixés.
Après le déploiement des modèles en production, l'importance et l'impact de certaines caractéristiques du modèle peuvent changer au fil du temps. Le contrôle de l'explicabilité des modèles permet de comprendre et de déterminer si les prédictions faites par vos modèles ML sont basées sur les mêmes caractéristiques, et dans la même proportion, que lorsque votre modèle a été entraîné. Lorsque vous activez le suivi de l'explicabilité, SageMaker Model Monitor détecte automatiquement les dérives dans l'importance relative des caractéristiques, vous permet de visualiser ces changements dans SageMaker Studio et, comme toutes les autres fonctionnalités de SageMaker Model Monitor, peut être configuré avec Amazon CloudWatch pour vous alerter de manière proactive lorsqu'une dérive est détectée.
Amazon SageMaker Model Monitor peut être activé pour les points de terminaison d'inférence en temps réel nouveaux ou existants. Une fois activé, SageMaker Model Monitor enregistre les demandes de prédiction et les réponses dans Amazon S3, compare les prédictions du modèle avec les données réelles ou la vérité de terrain que vous fournissez, exécute des règles intégrées ou personnalisées pour détecter la dérive par rapport à une référence et vous avertit en cas d'écart. Par conséquent, vous pouvez surveiller des centaines de modèles pour détecter les dérives dans la qualité des données, la qualité des modèles, les biais des modèles et l'importance des caractéristiques d'une manière standardisée dans toute votre organisation sans avoir à créer des outils supplémentaires. Les tâches de suivi peuvent être programmés pour s'exécuter à une fréquence régulière (par exemple, toutes les heures ou tous les jours) et envoyer les rapports, ainsi que les métriques à Amazon CloudWatch et Amazon S3. Les résultats de surveillance sont également disponibles dans Amazon SageMaker Studio pour un examen visuel, et vous pouvez analyser plus en profondeur les résultats en utilisant une instance Amazon SageMaker Notebook.
Amazon SageMaker Model Monitor est disponible dans toutes les régions commerciale où Amazon SageMaker est disponible. Vous bénéficiez également de jusqu'à 30 heures de surveillance agrégées gratuites sur tous les points de terminaison chaque mois, lorsque vous utilisez les règles de surveillance intégrées avec l'instance par défaut ml.m5.xlarge. Consultez la documentation qui contient des exemples de bloc-note et pour en savoir plus.