Qu'est-ce que la gestion des données ?

La pratique de la gestion des données couvre la collecte et la distribution de données de haute qualité, en plus de la gouvernance des données, pour contrôler l'accès aux données.

La gouvernance des données comprend les politiques et les procédures mises en œuvre par une organisation pour gérer la sécurité, l’intégrité et l’utilité responsable des données. Elle définit la stratégie de gestion des données et détermine qui peut accéder à quelles données. Les stratégies de gouvernance des données établissent également la responsabilité dans la manière dont les équipes et les individus accèdent et utilisent les données Les fonctions de gouvernance des données incluent généralement :

Profilage des données

Le profilage des données est le processus diagnostique qui consiste à analyser les données afin de déterminer leur structure, leur qualité et leurs caractéristiques. Il s'agit de la première étape pour comprendre un ensemble de données existant, afin de décider s'il doit être remanié avant utilisation.

Lignage des données

Le lignage des données permet de suivre les flux de données au sein d'une organisation. Le lignage de données horodaté est utilisé pour déterminer l'origine d'une donnée, comment elle a été utilisée et quand elle a été transformée. Ce processus de gestion des données est particulièrement important dans les processus d'audit.

Catalogue de données

Les catalogues de données sont une collection des actifs de données de l'organisation et des métadonnées associées. En stockant toutes les informations relatives aux données dans un catalogue central, celui-ci devient le principal registre de données de l'organisation. Les utilisateurs peuvent s'attendre à ce que le catalogue de données contienne les informations les plus récentes sur tous les actifs de données.

Contrôle de la sécurité et des accès aux données.

La gouvernance des données empêche tout accès non autorisé aux données et les protège contre la corruption. Elle inclut tous les aspects de la protection, tels que les suivants :

• Empêcher le déplacement ou la suppression accidentels
• Sécuriser l'accès au réseau pour réduire le risque d'attaques réseau
• Vérifier que les centres de données physiques qui stockent les données répondent aux exigences de sécurité
• Protéger les données même lorsque les employés y accèdent à partir d'appareils personnels
• Authentifier les utilisateurs, autoriser, définir et appliquer des autorisations d'accès aux données
• Veiller à ce que les données stockées soient conformes aux lois du pays où les données sont stockées
• Ajout de niveaux de contrôles supplémentaires pour les données sensibles

Conformité des données

Les politiques de conformité des données réduisent le risque d'amendes ou de mesures réglementaires. Le respect des lois de conformité telles que le RGPD et le CCPA est essentiel pour les opérations.

Les activités de conformité se concentrent sur la modélisation des données, les contrôles logiciels et la formation des employés afin que le respect des lois se fasse à tous les niveaux. Par exemple, une organisation collabore avec une équipe de développement externe pour améliorer ses systèmes de données. Les responsables de la gouvernance des données vérifient que toutes les données personnelles sont supprimées avant de les transmettre à l'équipe externe pour les utiliser à des fins de test.

Gestion du cycle de vie des données

La gestion du cycle de vie des données fait référence au processus de gestion des données tout au long de leur cycle de vie. 

Par exemple :

• Les données doivent être vérifiées au moment de l'ingestion et à intervalles réguliers
• Les données doivent être conservées pendant des périodes spécifiques à des fins d'audit
• Les données doivent être effacées lorsqu'elles ne sont plus nécessaires

Gestion de la qualité des données

Les utilisateurs de données s'attendent à ce que les données soient suffisamment fiables et cohérentes pour chaque cas d'utilisation.

Les responsables de la qualité des données mesurent et améliorent la qualité des données d'une organisation. Ils examinent les données existantes et nouvelles et vérifient qu'elles répondent aux normes. Ils peuvent également mettre en place des processus de gestion des données qui empêchent les données de mauvaise qualité d'entrer dans le système. Les normes de qualité des données mesurent généralement les éléments suivants :

• Des informations clés sont-elles manquantes ou les données sont-elles complètes ? (par exemple, le client omet ses coordonnées clés)
• Les données répondent-elles aux règles de base de vérification des données ? (Par exemple, un numéro de téléphone doit être composé d'un certain nombre de chiffres)
• À quelle fréquence les mêmes données apparaissent-elles dans le système ? (par exemple, des entrées de données en double pour le même client)
• Les données sont-elles exactes ? (par exemple, le client saisit une adresse e-mail erronée)
• La qualité des données est-elle uniforme dans tout le système ? (par exemple, la date de naissance est au format jj/mm/aaaa dans un jeu de données, mais au format mm/jj/aaaa dans un autre)

Intégration des données

Points de terminaison pour la distribution des données

Pour la plupart des entreprises, les données doivent être distribuées vers (ou à proximité) les différents points de terminaison où les données sont nécessaires. Il s'agit notamment des systèmes opérationnels, des lacs de données et des entrepôts de données. La distribution des données est nécessaire en raison des latences du réseau. Lorsque des données sont nécessaires à une utilisation opérationnelle, la latence du réseau peut ne pas être suffisante pour les fournir en temps voulu. Le stockage d'une copie des données dans une base de données locale résout le problème de latence du réseau.

La distribution des données est également nécessaire pour la consolidation des données. Les entrepôts des données et les lacs de données consolident les données provenant de diverses sources pour présenter une vue consolidée des informations. Les entrepôts des données sont utilisés pour l'analyse et la prise de décision, tandis que les lacs de données constituent un hub consolidé à partir duquel les données peuvent être extraites pour divers cas d'utilisation.

Mécanismes de réplication des données et impact sur la cohérence

Les mécanismes de distribution des données ont un impact potentiel sur la cohérence des données, ce qui est un facteur important dans la gestion des données.

Une forte cohérence résulte de la réplication synchrone des données. Dans cette approche, lorsqu'une valeur des données est modifiée, toutes les applications et tous les utilisateurs voient la valeur modifiée des données. Si la nouvelle valeur des données n'a pas encore été répliquée, l'accès aux données est bloqué jusqu'à ce que toutes les copies soient mises à jour. La réplication synchrone privilégie la cohérence par rapport aux performances et à l'accès aux données. La réplication synchrone est le plus souvent utilisée pour les données financières.

La cohérence finale résulte de la réplication asynchrone des données. Lorsque les données sont modifiées, les copies sont finalement mises à jour (généralement en quelques secondes), mais l'accès aux copies obsolètes n'est pas bloqué. Pour de nombreux cas d'utilisation, cela ne constitue pas un problème. Par exemple, les publications sur les réseaux sociaux, les mentions J'aime et les commentaires ne nécessitent pas une grande cohérence. Autre exemple, si un client change de numéro de téléphone dans une application, ce changement peut être appliqué en cascade de manière asynchrone.

Comparaison du streaming avec les mises à jour en lot

Les flux de données mettent en cascade les modifications de données au fur et à mesure qu'elles se produisent. Il s'agit de l'approche à privilégier si l'accès à des données en temps quasi réel est requis. Les données sont extraites, transformées et livrées à leur destination dès qu'elles sont modifiées.

Les mises à jour en lot sont plus appropriées lorsque les données doivent être traitées par lots avant leur livraison. Résumer ou effectuer une analyse statistique des données et ne fournir que le résultat en est un exemple. Les mises à jour en lot peuvent également préserver la cohérence interne instantanée des données si toutes les données sont extraites à un moment précis. Les mises à jour en lot via un processus d'extraction, de transformation, de chargement (ETL ou ELT) sont généralement utilisées pour les lacs de données, l'entreposage de données et l'analytique.

Gestion des données de référence

La gestion des données de référence (MDM) fait référence au processus de gestion des données commerciales essentielles. La cohérence et la synchronisation des données sont toutes deux très importantes pour le MDM.

Parmi les exemples de données de base, citons les données des clients, les données des partenaires et les données des produits. Ces données fondamentales sont pour la plupart persistantes et ne changent pas souvent. Parmi les exemples de ces données utilisées, citons les logiciels de gestion de la relation client (CRM) et de planification des ressources d'entreprise (ERP).

La gestion des données de référence est essentielle pour garantir leur précision dans tous les systèmes, y compris la synchronisation et l'intégration des données lors des mises à jour.

Les meilleures pratiques en matière de gestion des données constituent la base d'une stratégie de données réussie. Les principes courants de gestion des données suivants vous aideront à établir une base de données solide.

Travail en équipe

Les utilisateurs professionnels et les équipes techniques doivent collaborer pour s'assurer que les exigences en matière de données d'une organisation sont satisfaites. Tous les traitements et analyses des données doivent donner la priorité aux exigences de l'informatique décisionnelle. Sinon, les données collectées resteront inutilisées, les ressources étant gaspillées dans des projets de gestion des données mal planifiés.

Automatisation

Une stratégie de gestion des données réussie intègre l'automatisation dans la plupart des tâches de traitement et de préparation des données. L'exécution manuelle des tâches de transformation des données est fastidieuse et introduit également des erreurs dans le système. Même un nombre limité de tâches manuelles, telles que l'exécution de tâches par lots hebdomadaires, peut entraîner des goulots d'étranglement du système. Les logiciels de gestion des données peuvent prendre en charge une mise à l'échelle plus rapide.

Cloud computing

Les entreprises ont besoin de solutions modernes de gestion des données qui leur fournissent un large éventail de fonctionnalités. Une solution cloud peut gérer tous les aspects de la gestion des données à grande échelle sans compromettre les performances. Par exemple, AWS propose un large éventail de fonctionnalités, telles que les bases de données, les lacs de données, l'analytique, l'accessibilité des données, la gouvernance des données et la sécurité, à partir d'un seul compte.