Le lignage des données est désormais disponible pour tous dans Amazon DataZone et la prochaine génération d'Amazon SageMaker
AWS annonce la disponibilité générale de Data Lineage dans Amazon DataZone et la prochaine génération d'Amazon SageMaker, une fonctionnalité qui capture automatiquement le lignage depuis AWS Glue et Amazon Redshift pour visualiser les événements de lignage de la source à la consommation. Comme elle est compatible avec OpenLineage, cette fonctionnalité permet aux producteurs de données d'augmenter le lignage automatisé avec des événements de lignage capturés à partir de systèmes compatibles OpenLineage ou via une API, afin de fournir une vue complète des mouvements de données aux consommateurs de données.
Cette fonctionnalité automatise la capture du lignage des schémas et les transformations des actifs de données et des colonnes à partir des exécutions d'AWS Glue, Amazon Redshift et Spark dans des outils visant à maintenir la cohérence et à réduire les erreurs. Grâce à l'automatisation intégrée, les administrateurs de domaine et les producteurs de données peuvent automatiser la capture et le stockage des événements de lignage lorsque les données sont configurées pour le partage de données dans le catalogue de données métiers. Les consommateurs de données peuvent avoir confiance dans l'origine d'un actif grâce à une vue complète de son historique, tandis que les producteurs de données peuvent évaluer l'impact des modifications apportées à un actif en comprenant sa consommation. En outre, la fonctionnalité de lignage des données met à jour le lignage en fonction de chaque événement, ce qui permet aux utilisateurs de visualiser le lignage à tout moment ou de comparer les transformations au cours de l'historique d'un actif ou d'une tâche. Ce lignage historique permet de mieux comprendre l'évolution des données, ce qui est essentiel pour le dépannage, l'audit et la validation de l'intégrité des actifs de données.
La fonctionnalité de lignage des données est généralement disponible dans toutes les régions AWS où Amazon DataZone et la prochaine génération d'Amazon SageMaker sont disponibles.
Pour en savoir plus, consultez la rubrique Amazon DataZone et la nouvelle génération d'Amazon SageMaker.