Publié le: Dec 3, 2019
Amazon SageMaker Model Monitor est une nouvelle fonctionnalité d’Amazon SageMaker qui surveille en permanence les modèles de machine learning (ML) en production, détecte les déviations comme la dérive des données, qui sont susceptibles d’altérer la performance du modèle avec le temps, et vous alerte lorsque des mesures correctives sont nécessaires.
Les modèles de ML font des prédictions à travers l’apprentissage de motifs issus des données utilisées pendant la formation des modèles. Une fois les modèles déployés en production, il arrive qu’au fil du temps les données du monde réel commencent à s’éloigner des données qui ont été utilisées pour former le modèle. Il en résulte des déviations dans la qualité des prédictions du modèle, qui devient moins précis. Par exemple, un changement dans les conditions économiques peut impacter les taux d’intérêt, ce qui affecte les prédictions d’achats immobiliers. Amazon SageMaker Model Monitor fournit une expérience entièrement gérée permettant de surveiller les modèles en production, de détecter les déviations et d’agir en temps voulu, par exemple en lançant un audit ou en reprenant la formation des modèles.
Avec Amazon SageMaker Model Monitor, vous pouvez facilement collecter les requêtes de prédictions et les réponses associées à partir de vos points de terminaison, analyser les données collectées en production et les comparer à vos données de formation ou de validation pour détecter les déviations. Vous pouvez utiliser les règles intégrées dans SageMaker Model Monitor pour détecter immédiatement les déviations pour des ensembles de données structurés, ajouter des transformations avant d’exécuter les règles intégrées ou écrire vos propres règles personnalisées. L’exécution des tâches de surveillance peut être planifiée à intervalles réguliers, par exemple toutes les heures ou tous les jours. Les tâches de surveillance peuvent envoyer une synthèse des métriques vers Amazon CloudWatch pour vous permettre de configurer des alertes et des déclencheurs d’actions correctives, et prennent en charge une large gamme de types d’instances prises en charges dans Amazon SageMaker.
Lorsque vous déployez des modèles dans Amazon SageMaker et que vous activez Model Monitor avec les règles intégrées et l’instance ml.m5.xlarge, vous obtenez jusqu'à 30 heures de surveillance regroupées sur tous les points de terminaison chaque mois, gratuitement.
Amazon SageMaker Model Monitor est disponible dans toutes les régions commerciales où Amazon SageMaker est disponible. Pour en savoir plus, consultez le manuel du développeurd’Amazon SageMaker.