Amazon SageMaker fournit un transport personnalisé à la communauté OpenLineage et propose des fonctionnalités de lignage supplémentaires
AWS annonce qu'Amazon SageMaker a fourni un transport personnalisé « AmazonDataZoneTransport » à la communauté OpenLineage et a amélioré les fonctionnalités de lignage automatisé. Ces améliorations du lignage incluent des améliorations de l'automatisation à partir de sources telles qu'AWS Glue, Amazon Redshift, ainsi que la capture automatique du lignage à partir d'outils, ce qui permet aux scientifiques et ingénieurs des données de travailler plus efficacement avec leurs données et leurs modèles.
La nouvelle contribution « transport personnalisé » à la communauté OpenLineage permet aux constructeurs de télécharger le transport ainsi que les plug-ins OpenLineage pour augmenter et automatiser les événements de lignage capturés à partir de systèmes compatibles OpenLineage. Les clients peuvent ainsi automatiser la capture du lignage et envoyer ces événements de lignage au domaine SageMaker Unified Studio, améliorant ainsi la gouvernance et la traçabilité des données dans leurs flux de données. Amazon SageMaker a également introduit des fonctionnalités de lignage automatisé améliorées provenant de diverses sources. Ces améliorations incluent une meilleure prise en charge des événements de lignage depuis AWS Glue, Amazon Redshift et une capture automatique du lignage à partir d'outils tels que les processus vETL et les blocs-notes. En outre, SageMaker a amélioré sa prise en charge du lignage SQL, en particulier pour Amazon Redshift, grâce à de nouvelles fonctionnalités, notamment la prise en charge des procédures stockées et des vues matérialisées. Ces améliorations permettent la capture automatique du lignage des opérations de données complexes, offrant ainsi une vue plus complète des transformations et des dépendances des données.
Cette fonctionnalité est disponible dans les régions AWS dans lesquelles Amazon SageMaker est proposé.
Pour en savoir plus sur la contribution « transport personnalisé » et les fonctionnalités de lignage améliorées, consultez la page Amazon SageMaker. Pour obtenir des informations détaillées sur la façon de démarrer avec le lignage à l'aide de ces nouvelles fonctionnalités, consultez la documentation pour les utilisateurs.