AWS Glue Data Quality prend désormais en charge les requêtes de prétraitement
AWS annonce aujourd'hui la disponibilité générale des requêtes de prétraitement pour AWS Glue Data Quality qui vous permettent de transformer vos données avant d'effectuer des contrôles de qualité des données via les API AWS Glue Data Catalog. Cette fonctionnalité vous permet de créer des colonnes dérivées, de filtrer les données en fonction de conditions spécifiques, d'effectuer des calculs et de valider les relations entre
les colonnes directement dans votre processus d'évaluation de la qualité des données.
Les requêtes de prétraitement offrent une flexibilité accrue pour les scénarios complexes de qualité des données qui nécessitent une transformation des données avant leur validation. Vous pouvez créer des métriques dérivées, comme calculer le total des frais à partir des colonnes relatives aux taxes et aux frais d'expédition, limiter le nombre de colonnes prises en compte pour les recommandations relatives à la qualité des données ou filtrer des jeux de données pour concentrer les contrôles de qualité sur des sous-ensembles de données spécifiques. Cette fonctionnalité élimine le besoin d'étapes distinctes de prétraitement des données, rationalisant ainsi vos flux de travail relatifs à la qualité des données.
Les requêtes de prétraitement AWS Glue Data Quality sont disponibles via les API AWS Glue Data Catalog (start-data-quality-rule-recommendation-run et start-data-quality-ruleset-evaluation-run), dans toutes les régions AWS commerciales où AWS Glue Data Quality est disponible. Pour en savoir plus sur le prétraitement des requêtes, consultez la documentation relative à Glue Data Quality.