Amazon SageMaker stellt der OpenLineage-Community einen benutzerdefinierten Transport zur Verfügung und bietet zusätzliche Lineage-Funktionen
AWS gibt bekannt, dass Amazon SageMaker der OpenLineage-Community einen benutzerdefinierten Transport (AmazonDataZoneTransport) zur Verfügung gestellt und die automatisierten Lineage-Funktionen erweitert hat. Zu diesen Lineage-Erweiterungen gehören Verbesserungen der Automatisierung aus Quellen wie AWS Glue, Amazon Redshift und der automatischen Lineage-Erfassung in Tools, sodass Datenwissenschaftler und Entwickler effizienter mit ihren Daten und Modellen arbeiten können.
Der neue Beitrag zur OpenLineage-Community („Benutzerdefinierter Transport“) ermöglicht Entwicklern, den Transport zusammen mit OpenLineage-Plugins herunterzuladen, um Lineage-Ereignisse, die von OpenLineage-fähigen Systemen erfasst wurden, zu erweitern und zu automatisieren. Auf diese Weise können Kunden die Lineage-Erfassung automatisieren und diese Lineage-Ereignisse an die SageMaker-Unified-Studio-Domain senden, wodurch Daten-Governance und Rückverfolgbarkeit innerhalb ihrer Datenworkflows verbessert werden. Amazon SageMaker hat außerdem erweiterte automatisierte Lineage-Funktionen aus verschiedenen Quellen eingeführt. Zu diesen Verbesserungen gehören eine bessere Unterstützung für Lineage-Ereignisse aus AWS Glue, Amazon Redshift und der automatischen Lineage-Erfassung in Tools wie vETL-Prozessen und Notebooks. Darüber hinaus wurde die SQL-Lineage-Unterstützung von SageMaker verbessert, insbesondere für Amazon Redshift. Neue Features umfassen die Unterstützung für gespeicherte Prozeduren und materialisierte Ansichten. Diese Verbesserungen ermöglichen die automatische Lineage-Erfassung komplexer Datenoperationen und bieten einen umfassenderen Überblick über Datentransformationen und Abhängigkeiten.
Dieses Feature ist in allen AWS-Regionen verfügbar, in denen Amazon SageMaker angeboten wird.
Weitere Informationen zum benutzerdefinierten Transport und zu den erweiterten Lineage-Funktionen finden Sie auf der Amazon-SageMaker-Seite. Detaillierte Informationen zur Nutzung von Lineage mit diesen neuen Features finden Sie in der Benutzerdokumentation.