Apache Spark-Lineage jetzt in Amazon SageMaker Unified Studio für IDC-basierte Domains verfügbar
Amazon SageMaker kündigt die allgemeine Verfügbarkeit von Data Lineage für Apache Spark-Jobs an, die auf Amazon EMR und AWS Glue in SageMaker Unified Studio für IDC-basierte Domains ausgeführt werden. Data Lineage liefert Ihnen die Informationen, mit denen Sie die Ursache komplexer Probleme zu identifizieren und die Auswirkungen von Änderungen verstehen können.
Diese Funktion unterstützt die Lineage-Erfassung von Schema und Transformationen von Datenbeständen und Spalten aus Spark-Ausführungen in EMR-EC2, EMR-Serverless, EMR-EKS und AWS Glue. Sie können diese Abstammung dann visuell als Diagramm in SageMaker Unified Studio untersuchen oder sie mithilfe von APIs abfragen. Sie können Lineage auch verwenden, um Transformationen im Spark-Jobverlauf zu vergleichen.
Spark Lineage ist in allen bestehenden SageMaker Unified Studio-Regionen verfügbar. Detaillierte Informationen zur Nutzung von Lineage mit diesen neuen Features finden Sie in der Dokumentation.