El linaje Apache Spark ya está disponible en Amazon SageMaker Unified Studio para dominios basados en IDC
Amazon SageMaker anuncia la disponibilidad general de linaje de datos para trabajos de Apache Spark ejecutados en Amazon EMR y AWS Glue en SageMaker Unified Studio para dominios basados en IDC. El linaje de datos le proporciona la información que necesita para identificar la causa principal de los problemas complejos y comprender el impacto de los cambios.
Esta característica admite la captura por linaje del esquema y las transformaciones de los activos y columnas de datos de las ejecuciones de Spark en EMR-EC2, EMR sin servidor, EMR-EKS y AWS Glue. A continuación, puede explorar este linaje visualmente como un gráfico en SageMaker Unified Studio o consultarlo mediante las API. También puede usar el linaje para comparar las transformaciones en el historial de trabajos de Spark.
El linaje de Spark está disponible en todas las regiones de SageMaker Unified Studio existentes. Para obtener información detallada sobre cómo empezar a usar el linaje con estas nuevas características, consulte la documentación.