Monitor de modelos de Amazon SageMaker

Haga que los modelos de machine learning sigan siendo precisos a lo largo del tiempo

Detecte automáticamente la desviación del modelo y de los datos y reciba alertas sobre las predicciones inexactas para poder adoptar medidas correctivas

Supervisión continua y elaboración de informes mediante herramientas de visualización, como Amazon QuickSight, Tensorboard y Tableau

Se integra con Amazon SageMaker Clarify para identificar posibles sesgos en los modelos de ML una vez implementados en producción

Recopilación y supervisión de datos

Gracias a Amazon SageMaker Model Monitor, puede seleccionar los datos que le gustaría supervisar y analizar sin necesidad de escribir código. SageMaker Model Monitor le permite seleccionar datos de un menú, con opciones como resultado de la predicción, y capturar metadatos como marca temporal, nombre del modelo y punto de conexión, de modo que pueda analizar predicciones de modelos en función de los metadatos. Puede especificar la frecuencia de muestreo de la captura de datos como un porcentaje del tráfico general en el caso de un alto volumen de predicciones en tiempo real, y los datos se almacenarán en su propio bucket de Simple Storage Service (Amazon S3). También puede cifrar estos datos, configurar seguridad pormenorizada, definir políticas de retención de datos e implementar mecanismos de control de acceso para un acceso seguro.

Análisis integrado

Amazon SageMaker Model Monitor ofrece análisis integrado en forma de reglas estadísticas, para detectar desviaciones en los datos y en la calidad del modelo. También puede crear reglas específicas y establecer umbrales para cada regla. A continuación, podrá utilizar las reglas para analizar el rendimiento del modelo. SageMaker Model Monitor ejecuta las reglas en los datos recopilados, detecta anomalías y registra infracciones de las reglas.

Visualizaciones

Todas las métricas que emite Amazon SageMaker Model Monitor se pueden recopilar y visualizar en Amazon SageMaker Studio, de modo que puede analizar de manera visual el rendimiento del modelo sin necesidad de escribir código adicional. Además, no solo es posible visualizar las métricas, sino que también puede ejecutar análisis ad hoc en una instancia de cuaderno de SageMaker para comprender mejor sus modelos.

Predicción de modelos continua

Amazon SageMaker Model Monitor le permite capturar datos de su aplicación de ML para calcular el rendimiento del modelo. Los datos se almacenan en Simple Storage Service (Amazon S3) y están protegidos gracias a control de acceso, cifrado y políticas de retención de datos.

Programación de supervisión

Puede programar trabajos de supervisión para supervisar sus modelos de ML mediante Amazon SageMaker Model Monitor. De manera automática, es posible iniciar trabajos de supervisión para analizar las predicciones de los modelos durante un periodo de tiempo específico. También puede configurar varias programaciones en un punto de conexión de SageMaker.

Integración con Amazon SageMaker Clarify

Amazon SageMaker Model Monitor está integrado con Amazon SageMaker Clarify para mejorar la visibilidad de sesgos potenciales. Aunque no hubiera sesgos en el modelo o los datos iniciales, los cambios en el mundo pueden hacer que aparezcan con el tiempo en un modelo que ya se ha entrenado. Por ejemplo, un cambio significativo en la demografía de compradores de casas puede provocar la aparición de sesgos en un modelo de solicitud de préstamos hipotecarios si algunas poblaciones no estaban presentes en los datos de entrenamiento originales. La integración con SageMaker Clarify le permite configurar sistemas de alerta como Amazon CloudWatch para notificarle, en caso de que su modelo comience a desarrollar un sesgo.

Informes y alertas

Los informes que generan los trabajos de supervisión se pueden guardar en Simple Storage Service (Amazon S3) para un análisis posterior. Amazon SageMaker Model Monitor emite métricas para Amazon CloudWatch; desde allí, puede utilizar notificaciones para desencadenar alarmas o acciones correctivas como volver a entrenar el modelo o auditar los datos. Las métricas incluyen información como las reglas que fueron incumplidas o información de la marca temporal. SageMaker Model Monitor también está integrado con otras herramientas de visualización, como Tensorboard, Amazon QuickSight y Tableau.

Casos de uso

Valores atípicos o anomalías

Utilice Amazon SageMaker Model Monitor para detectar cuando las predicciones están fuera del rango especificado o en el límite de lo que se espera como valor mínimo o máximo. Por ejemplo, si espera que la temperatura esté entre 65 °F y 75 °F, un resultado fuera de lo esperado sería 50 °F. Este resultado fuera de lo esperado generaría una alerta al considerarse una anomalía.

Desviación de datos

Utilice Amazon SageMaker Model Monitor para detectar si las predicciones están sesgadas debido a condiciones del mundo real, como lecturas de sensores imprecisas debido a que dichos sensores están obsoletos. Amazon SageMaker Model Monitor detecta sesgos en los datos al comparar datos del mundo real con un conjunto de datos de referencia, como un conjunto de datos de entrenamiento o de evaluación.

Observaciones del mundo real

A menudo, se generan nuevos datos en el mundo real, de modo que querrá poder ajustar el modelo para tener las nuevas características en cuenta. Por ejemplo, un modelo de conducción autónoma necesita estar actualizado para que los vehículos autónomos detecten nuevos objetos en la carretera. Amazon SageMaker Model Monitor detecta nuevas observaciones de modo que pueda mantener sus modelos actualizados.

Recursos

video

Detecte desviación de modelos de ML en producción (29:50)

Blog

Detect & analyze incorrect model predictions

BLOG

Automatic monitoring of ML models