La traçabilité Apache Spark est désormais disponible dans Amazon SageMaker Unified Studio pour les domaines basés sur IDC
Amazon SageMaker annonce la disponibilité générale de la traçabilité des données pour les tâches Apache Spark exécutées sur Amazon EMR et AWS Glue dans SageMaker Unified Studio pour les domaines basés sur IDC. La traçabilité des données vous fournit les informations dont vous avez besoin pour identifier la cause première de problèmes complexes et comprendre l’impact des modifications.
Cette caractéristique prend en charge la saisie de la traçabilité des schémas et les transformations des actifs de données et des colonnes à partir des exécutions de Spark dans EMR-EC2, EMR-sans serveur, EMR-EKS et AWS Glue. Vous pouvez ensuite explorer cette traçabilité visuellement sous forme de graphique dans SageMaker Unified Studio ou l’interroger à l’aide d’API. Vous pouvez également utiliser la traçabilité pour comparer les transformations dans l’historique des tâches Spark.
La traçabilité Spark est disponible dans toutes les régions SageMaker Unified Studio existantes. Pour obtenir des informations détaillées sur la façon de démarrer avec le lignage à l’aide de ces nouvelles caractéristiques, consultez la documentation.