Data Lineage ist jetzt allgemein in Amazon DataZone und der nächsten Generation von Amazon SageMaker verfügbar.
AWS kündigt die allgemeine Verfügbarkeit von Data Lineage in Amazon DataZone und der nächsten Generation von Amazon SageMaker an. Diese Funktion erfasst automatisch die Datenherkunft aus AWS Glue und Amazon Redshift, um Verzweigungsereignisse von der Quelle bis zum Verbrauch zu visualisieren. Da diese Funktion mit OpenLineage kompatibel ist, können Datenproduzenten die automatisierte Herkunftserfassung mit Verzweigungsereignissen erweitern, die von OpenLineage-fähigen Systemen oder per API erfasst wurden, um Datenverbraucher eine umfassende Ansicht der Datenbewegungen zu bieten.
Dieses Feature automatisiert die Erfassung der Herkunft von Schemata und die Transformation von Datenbeständen und Spalten aus AWS-Glue-, Amazon-Redshift- und Spark-Ausführungen in Tools, um die Konsistenz zu wahren und Fehler zu reduzieren. Mit der integrierten Automatisierung können Domain-Administratoren und Datenproduzenten die Erfassung und Speicherung von Abstammungsereignissen automatisieren, wenn die Daten für die gemeinsame Nutzung im Geschäftsdatenkatalog konfiguriert sind. Datenverbraucher erhalten so einen ganzheitlichen Überblick, der ihnen in Bezug auf die Verzweigung des Assets Sicherheit gibt. Datenproduzenten können hingegen die Auswirkungen von Änderungen auf ein Asset bewerten, indem sie dessen Verbrauch verstehen. Darüber hinaus versioniert das Data Lineage-Feature die Verzweigung mit jedem Ereignis, sodass Benutzer die Verzweigung zu jedem Zeitpunkt visualisieren oder Transformationen in Verlauf eines Assets oder Aufgabe vergleichen können. Dieser Verzweigungsverlauf bietet einen tieferen Einblick darin, wie Daten entstanden sind, was für die Fehlerbehebung, Prüfung und Validierung der Integrität von Daten-Assets unerlässlich ist.
Das Data Lineage-Feature ist generell in allen AWS-Regionen verfügbar, in denen Amazon DataZone und Amazon SageMaker der nächsten Generation verfügbar sind.
Weitere Informationen finden Sie unter Amazon DataZone und Amazon SageMaker der nächsten Generation.