Publicado en: Dec 8, 2020
Amazon SageMaker Model Monitor monitorea continuamente los modelos de aprendizaje automático para detectar la deriva de los conceptos (es decir, los cambios en la distribución de los datos y las características a lo largo del tiempo) y le alerta si hay alguna desviación para que pueda tomar medidas correctivas. A partir de hoy, también puede usar Amazon SageMaker Model Monitor para detectar la deriva en la calidad del modelo, el sesgo y la importancia de las características. Con estas nuevas capacidades completamente administradas, Amazon SageMaker Model Monitor le ayuda a mantener modelos de aprendizaje automático de alta calidad en producción.
Amazon SageMaker Model Monitor actualmente admite la detección de la desviación en la calidad de los datos mediante el rastreo de la diferencia entre los datos que se usaron para entrenar los modelos versus los datos que se presentan en el modelo para calificar y el envío de alertas sobre las desviaciones para ayudarlo a tomar acciones oportunas, como la auditoría de los datos o el perfeccionamiento de los modelos. Hoy, agregamos tres nuevas capacidades a Amazon SageMaker Model Monitor, lo que le permite detectar la desviación en la calidad del modelo, el sesgo del modelo y la importancia de las características.
Con el monitoreo de la calidad de los modelos, puede controlar las características de los modelos (como la precisión, la exactitud, el recuerdo y más) de sus modelos de ML en tiempo real. Amazon SageMaker Model Monitor registra la precisión en la que un modelo de ML predice los resultados mediante la comparación de la predicción del modelo con los datos reales. A medida que se monitorea el modelo, puede ver informes y gráficos exportables que detallan la calidad del modelo en Amazon S3, Amazon SageMaker Studio y la instancia SageMaker Notebook. También puede configurar Amazon CloudWatch para recibir notificaciones si se observa un cambio en la calidad del modelo.
El monitoreo del sesgo le ayuda a detectar el sesgo en sus modelos de ML de forma regular. Amazon SageMaker Model Monitor determina periódicamente cuando las métricas de sesgo se desvían hacia niveles que, por estadística, exceden los umbrales preestablecidos. Con las capacidades de monitoreo de sesgos en Model Monitor, puede ver las métricas y visualizar los resultados en SageMaker Studio. También puede configurar alertas automatizadas para saber inmediatamente cuando su modelo excede los umbrales métricos de sesgo que ha establecido.
Después de que los modelos se implementan en la producción, la importancia y el impacto de ciertas características del modelo pueden cambiar con el tiempo. El monitoreo de la explicabilidad de los modelos le ayuda a comprender e interpretar si las predicciones hechas por sus modelos de ML se basan en las mismas características y en la misma proporción que cuando su modelo fue entrenado. Cuando habilita el seguimiento de la explicabilidad, SageMaker Model Monitor detecta automáticamente la deriva en la importancia relativa de las características, le permite visualizar estos cambios en SageMaker Studio y, como todas las demás características de SageMaker Model Monitor, puede configurarse con Amazon CloudWatch para que le avise proactivamente cuando se detecte la deriva.
Amazon SageMaker Model Monitor se puede habilitar para puntos de enlace de interferencia en tiempo real nuevos o existentes. Una vez habilitado, SageMaker Model Monitor guarda las solicitudes de predicción y las respuestas en Amazon S3, compara las predicciones del modelo con los datos reales que usted proporciona, ejecuta reglas incorporadas o personalizadas para detectar la deriva en comparación con una referencia y le alerta cuando hay desviaciones. Como resultado, puede monitorear cientos de modelos para determinar la desviación en la calidad de los datos, la calidad y el sesgo del modelo, y la importancia de las características de una manera estandarizada en toda su organización sin tener que crear ninguna herramienta adicional. Los trabajos de monitoreo pueden programarse para que se ejecuten a una cadencia regular (por ejemplo, cada hora o cada día) y envíen informes y métricas a Amazon CloudWatch y Amazon S3. Los resultados del monitoreo también están disponibles en Amazon SageMaker Studio para su inspección visual. También puede analizar de forma más detallada los resultados mediante una instancia Amazon SageMaker Notebook.
SageMaker Model Monitor ya está disponible en todas las regiones comerciales donde Amazon SageMaker se encuentre disponible. También puede obtener hasta 30 horas de monitoreo agregado en todos los puntos de enlace por mes, sin costo alguno, cuando use las reglas de control incorporadas con la instancia predeterminada ml.m5.xlarge. Consulte la documentación para obtener más información y para los bloc de notas de muestra.