Qu'est-ce que la gestion des données ?

La pratique de la gestion des données couvre la collecte et la distribution de données de haute qualité, en plus de la gouvernance des données, pour contrôler l'accès aux données.

Gestion de la qualité des données

Les utilisateurs de données s'attendent à ce que les données soient suffisamment fiables et cohérentes pour chaque cas d'utilisation.

Les responsables de la qualité des données mesurent et améliorent la qualité des données d'une organisation. Ils examinent les données existantes et nouvelles et vérifient qu'elles répondent aux normes. Ils peuvent également mettre en place des processus de gestion des données qui empêchent les données de mauvaise qualité d'entrer dans le système. Les normes de qualité des données mesurent généralement les éléments suivants :

• Des informations clés sont-elles manquantes ou les données sont-elles complètes ? (par exemple, le client omet les informations de contact clés)
• Les données respectent-elles les règles de base de la vérification des données ? (par exemple, un numéro de téléphone doit comporter 10 chiffres)
• À quelle fréquence les mêmes données apparaissent-elles dans le système ? (par exemple, des entrées de données en double pour le même client)
• Les données sont-elles exactes ? (par exemple, le client saisit la mauvaise adresse e-mail)
• La qualité des données est-elle uniforme dans tout le système ? (par exemple, la date de naissance est au format jj/mm/aaaa dans un jeu de données, mais au format mm/jj/aaaa dans un autre)

Répartition et cohérence des données

Points de terminaison pour la distribution des données

Pour la plupart des entreprises, les données doivent être distribuées vers (ou à proximité) les différents points de terminaison où les données sont nécessaires. Il s'agit notamment des systèmes opérationnels, des lacs de données et des entrepôts de données. La distribution des données est nécessaire en raison des latences du réseau. Lorsque des données sont nécessaires à une utilisation opérationnelle, la latence du réseau peut ne pas être suffisante pour les fournir en temps voulu. Le stockage d'une copie des données dans une base de données locale résout le problème de latence du réseau.

La distribution des données est également nécessaire pour la consolidation des données. Les entrepôts des données et les lacs de données consolident les données provenant de diverses sources pour présenter une vue consolidée des informations. Les entrepôts des données sont utilisés pour l'analyse et la prise de décision, tandis que les lacs de données constituent un hub consolidé à partir duquel les données peuvent être extraites pour divers cas d'utilisation.

Mécanismes de réplication des données et impact sur la cohérence

Les mécanismes de distribution des données ont un impact potentiel sur la cohérence des données, ce qui est un facteur important dans la gestion des données.

Une forte cohérence résulte de la réplication synchrone des données. Dans cette approche, lorsqu'une valeur des données est modifiée, toutes les applications et tous les utilisateurs voient la valeur modifiée des données. Si la nouvelle valeur des données n'a pas encore été répliquée, l'accès aux données est bloqué jusqu'à ce que toutes les copies soient mises à jour. La réplication synchrone privilégie la cohérence par rapport aux performances et à l'accès aux données. La réplication synchrone est le plus souvent utilisée pour les données financières.

La cohérence finale résulte de la réplication asynchrone des données. Lorsque les données sont modifiées, les copies sont finalement mises à jour (généralement en quelques secondes), mais l'accès aux copies obsolètes n'est pas bloqué. Pour de nombreux cas d'utilisation, cela ne constitue pas un problème. Par exemple, les publications sur les réseaux sociaux, les mentions J'aime et les commentaires ne nécessitent pas une grande cohérence. Autre exemple, si un client change de numéro de téléphone dans une application, ce changement peut être appliqué en cascade de manière asynchrone.

Comparaison du streaming avec les mises à jour en lot

Les flux de données mettent en cascade les modifications de données au fur et à mesure qu'elles se produisent. Il s'agit de l'approche privilégiée si l'accès à des données en quasi-temps réel est requis. Les données sont extraites, transformées et livrées à leur destination dès qu'elles sont modifiées.

Les mises à jour en lot sont plus appropriées lorsque les données doivent être traitées par lots avant leur livraison. Résumer ou effectuer une analyse statistique des données et ne fournir que le résultat en est un exemple. Les mises à jour en lot peuvent également préserver la cohérence interne instantanée des données si toutes les données sont extraites à un moment précis. Les mises à jour en lot via un processus d'extraction, de transformation, de chargement (ETL ou ELT) sont généralement utilisées pour les lacs de données, l'entreposage de données et l'analytique.

Gestion du big data

Les big data sont les grands volumes de données qu'une organisation collecte à grande vitesse sur une courte période. Les flux d'actualités vidéo sur les réseaux sociaux et les flux de données provenant de capteurs intelligents sont des exemples de big data. L'ampleur et la complexité des opérations créent des difficultés au niveau de la gestion de big data. Par exemple, un système de big data stocke des données telles que :

• des données structurées qui sont bien représentées sous forme de tableau ;
• des données non structurées telles que des documents, des images et des vidéos ;
• des données semi-structurées combinant les deux types précédents.

Les outils de gestion du big data doivent traiter et préparer les données pour l'analytique. Les outils et techniques nécessaires au big data remplissent généralement les fonctions suivantes : intégration des données, stockage de données et analyse des données.

Architecture des données et modélisation des données

Architecture des données

L'architecture de données décrit les actifs de données d'une organisation et fournit un plan pour la création et la gestion des flux de données. Le plan de gestion des données comprend des détails techniques, tels que les bases de données opérationnelles, les lacs de données, les entrepôts des données et les serveurs, qui conviennent le mieux à la mise en œuvre de la stratégie de gestion des données.

Modélisation de données

La modélisation de données est le processus de création de modèles de données conceptuels et logiques qui visualisent les flux de travail et les relations entre différents types de données. La modélisation de données commence généralement par la représentation conceptuelle des données, puis par leur représentation dans le contexte des technologies sélectionnées. Les gestionnaires de données créent différents types de modèles de données lors de la phase de conception des données.

Gouvernance des données

La gouvernance des données comprend les stratégies et les procédures mises en œuvre par une organisation pour gérer la sécurité, l'intégrité et l'utilité responsable des données. Elle définit la stratégie de gestion des données et détermine qui peut accéder à quelles données. Les stratégies de gouvernance des données établissent également la responsabilité dans la manière dont les équipes et les individus accèdent et utilisent les données Les fonctions de gouvernance des données incluent généralement :

Conformité règlementaire

Les stratégies de gouvernance des données réduisent le risque d'amendes ou de mesures réglementaires. Elles mettent l'accent sur la formation des employés afin que le respect des lois se fasse à tous les niveaux. Par exemple, une organisation collabore avec une équipe de développement externe pour améliorer ses systèmes de données. Les responsables de la gouvernance des données vérifient que toutes les données personnelles sont supprimées avant de les transmettre à l'équipe externe pour les utiliser à des fins de test.

Contrôle de la sécurité et des accès aux données.

La gouvernance des données empêche tout accès non autorisé aux données et les protège contre la corruption. Elle inclut tous les aspects de la protection, tels que les suivants :

• Empêcher le déplacement ou la suppression accidentels
• Sécuriser l'accès au réseau pour réduire le risque d'attaques réseau
• Vérifier que les centres de données physiques qui stockent les données répondent aux exigences de sécurité
• Protéger les données même lorsque les employés y accèdent à partir d'appareils personnels
• Authentifier les utilisateurs, autoriser, définir et appliquer des autorisations d'accès aux données
• Veiller à ce que les données stockées soient conformes aux lois du pays où les données sont stockées
   

Les bonnes pratiques en matière de gestion des données constituent la base d'une stratégie de données réussie. Voici les bonnes pratiques courantes.

Travail en équipe

Les utilisateurs professionnels et les équipes techniques doivent collaborer pour s'assurer que les exigences en matière de données d'une organisation sont satisfaites. Tous les traitements et analyses des données doivent donner la priorité aux exigences de l'informatique décisionnelle. Sinon, les données collectées resteront inutilisées, les ressources étant gaspillées dans des projets de gestion des données mal planifiés.

Automatisation

Une stratégie de gestion des données réussie intègre l'automatisation dans la plupart des tâches de traitement et de préparation des données. L'exécution manuelle des tâches de transformation des données est fastidieuse et entraîne également des erreurs dans le système. Même un nombre limité de tâches manuelles, telles que l'exécution de tâches par lots hebdomadaires, peut entraîner des goulots d'étranglement du système. Les logiciels de gestion des données peuvent prendre en charge une mise à l'échelle plus rapide.

Cloud computing

Les entreprises ont besoin de solutions modernes de gestion des données qui leur fournissent un large éventail de fonctionnalités. Une solution cloud peut gérer tous les aspects de la gestion des données à grande échelle sans compromettre les performances. Par exemple, AWS propose un large éventail de fonctionnalités, telles que les bases de données, les lacs de données, l'analytique, l'accessibilité des données, la gouvernance des données et la sécurité, à partir d'un seul compte.