Publié le: Oct 28, 2022
Vous pouvez désormais surveiller la qualité des prédictions de machine learning à partir de tâches Batch Transform dans SageMaker en utilisant Amazon SageMaker Model Monitor. Amazon SageMaker Model Monitor fournit une expérience entièrement gérée permettant de surveiller les modèles en production, de détecter les déviations et d'agir en temps voulu, par exemple en lançant un audit ou en reprenant la formation.
Amazon SageMaker Batch Transform vous permet d'exécuter des prévisions sur des jeux de données stockés dans Amazon S3. Ce service est idéal pour les scénarios dans lesquels vous travaillez avec de grands jeux de données et n'avez pas besoin de point de terminaison à inférence permanente. Une fois les modèles déployés en production, les données du monde réel peuvent s'écarter au fil du temps de celles utilisées pour former le modèle, ce qui peut entraîner une baisse de la précision du modèle. Par exemple, l'évolution des conditions macroéconomiques telles que les taux d'intérêt pourrait avoir un impact sur la qualité du modèle utilisé pour prédire les prix des logements. Model Monitor détecte les dérives dans la qualité des données, la qualité du modèle, le biais et l'attribution des caractéristiques, et vous alerte pour vous permettre de prendre des mesures correctives lorsque de tels changements surviennent.
Avec Amazon SageMaker Model Monitor, vous pouvez collecter des données Batch Transform en production, les analyser, puis les comparer à vos données de formation ou de validation pour détecter les écarts. Vous pouvez utiliser les règles intégrées dans SageMaker Model Monitor pour détecter immédiatement les déviations pour des ensembles de données structurés, ajouter des transformations avant d'exécuter les règles intégrées ou écrire vos propres règles personnalisées. Vous pouvez utiliser Model Monitor avec un large éventail de types d'instances, le programmer pour qu'il s'exécute à une cadence régulière (par exemple, toutes les heures ou tous les jours) ou à la demande, envoyer des métriques récapitulatives à Amazon CloudWatch, et définir des alertes et des déclencheurs pour des actions correctives.
Amazon SageMaker Model Monitor pour les tâches Batch Transform est disponible dans toutes les régions commerciales où Amazon SageMaker est disponible. Pour obtenir plus d'informations ainsi que des exemples de bloc-notes, consultez le manuel du développeurd'Amazon SageMaker.