Amazon SageMaker Unified Studio ahora admite la creación de perfiles de datos y la detección de anomalías
Amazon SageMaker Unified Studio ahora admite la creación de perfiles de datos y la detección de anomalías, con la tecnología de Calidad de datos de AWS Glue. Los administradores de datos, los ingenieros y los analistas pueden generar perfiles estadísticos de sus datos para comprender su estructura e integridad, y realizar un seguimiento de cómo cambian estas estadísticas con el tiempo. La detección de anomalías ayuda a identificar cuándo los puntos de datos se alejan de los patrones históricos sin necesidad de umbrales predefinidos o reglas personalizadas. Estas funciones están disponibles tanto para los datos en reposo en las tablas de catálogo como para los datos en tránsito en los trabajos de extracción, transformación y carga (ETL) visual.
Con este lanzamiento, una pestaña dedicada al perfil de datos en las tablas del catálogo proporciona perfiles programados y bajo demanda que calculan las estadísticas a nivel de conjunto de datos y de columna. A medida que se acumula el historial del perfil, la detección de anomalías crea una referencia del comportamiento esperado y marca los puntos de datos que se encuentran fuera del rango previsto. Esto es especialmente útil cuando es posible que no conozca umbrales específicos o cuando los valores esperados cambien con el tiempo y las reglas fijas puedan quedar obsoletas. Para los datos en tránsito, las mismas estadísticas de creación de perfiles y detección de anomalías están disponibles en la página de resultados de cualquier trabajo de ETL visual con una transformación de evaluación de la calidad de los datos.
Esta característica está disponible en todas las regiones de AWS en las que está disponible Amazon SageMaker Unified Studio. Para obtener más información, consulte la documentación de Amazon SageMaker Unified Studio.