Was ist Datenverwaltung?

Die Praxis der Datenverwaltung umfasst neben der Data Governance auch die Erfassung und Verteilung hochwertiger Daten, um den Zugriff auf die Daten zu kontrollieren.

Datenqualitätsverwaltung

Benutzer von Daten erwarten, dass die Daten für jeden Anwendungsfall ausreichend zuverlässig und konsistent sind.

Datenqualitätsmanager messen und verbessern die Datenqualität eines Unternehmens. Sie überprüfen sowohl bestehende als auch neue Daten und stellen sicher, dass sie den Standards entsprechen. Sie können auch Datenverwaltungsprozesse einrichten, die verhindern, dass Daten mit geringer Qualität in das System gelangen. Datenqualitätsstandards messen in der Regel Folgendes:

• Fehlen wichtige Informationen oder sind die Daten vollständig? (z. B. lässt der Kunde wichtige Kontaktinformationen aus)
• Erfüllen die Daten die grundlegenden Regeln für die Datenprüfung? (eine Telefonnummer sollte beispielsweise aus 10 Ziffern bestehen)
• Wie oft erscheinen dieselben Daten im System? (z. B. doppelte Dateneinträge desselben Kunden)
• Sind die Daten korrekt? (z. B. gibt der Kunde die falsche E-Mail-Adresse ein)
• Ist die Datenqualität im gesamten System konsistent? (Beispielsweise liegt das Geburtsdatum in einem Datensatz im Format TT/MM/JJJJ, in einem anderen Datensatz jedoch im Format MM/TT/JJJJ vor)

Datenverteilung und -konsistenz

Endpunkte für die Datenverteilung

In den meisten Organisationen müssen Daten an (oder in der Nähe) der verschiedenen Endpunkte verteilt werden, an denen die Daten benötigt werden. Dazu gehören Betriebssysteme, Data Lakes und Data Warehouses. Die Datenverteilung ist aufgrund von Netzwerklatenzen erforderlich. Wenn Daten für den betrieblichen Gebrauch benötigt werden, reicht die Netzwerklatenz möglicherweise nicht aus, um sie rechtzeitig bereitzustellen. Das Speichern einer Kopie der Daten in einer lokalen Datenbank behebt das Problem der Netzwerklatenz.

Die Datenverteilung ist auch für die Datenkonsolidierung erforderlich. Data Warehouses und Data Lakes konsolidieren Daten aus verschiedenen Quellen, um eine konsolidierte Ansicht der Informationen zu bieten. Data Warehouses werden für Analysen und Entscheidungsfindung verwendet, während Data Lakes ein konsolidierter Hub sind, aus dem Daten für verschiedene Anwendungsfälle extrahiert werden können.

Datenreplikationsmechanismen und Auswirkungen auf die Konsistenz

Datenverteilungsmechanismen haben potenzielle Auswirkungen auf die Datenkonsistenz, und dies ist ein wichtiger Aspekt bei der Datenverwaltung.

Starke Konsistenz resultiert aus der synchronen Replikation von Daten. Bei diesem Ansatz sehen alle Anwendungen und Benutzer den geänderten Wert der Daten, wenn ein Datenwert geändert wird. Wenn der neue Wert der Daten noch nicht repliziert wurde, wird der Zugriff auf die Daten gesperrt, bis alle Kopien aktualisiert wurden. Synchrone Replikation priorisiert Konsistenz vor Leistung und Zugriff auf Daten. Synchrone Replikation wird am häufigsten für Finanzdaten verwendet.

Eventuelle Konsistenz ergibt sich aus der asynchronen Replikation von Daten. Wenn Daten geändert werden, werden die Kopien schließlich aktualisiert (normalerweise innerhalb von Sekunden), der Zugriff auf veraltete Kopien wird jedoch nicht blockiert. Für viele Anwendungsfälle ist dies kein Problem. Beispielsweise erfordern Social-Media-Posts, Likes und Kommentare keine strikte Konsistenz. Ein weiteres Beispiel: Wenn ein Kunde seine Telefonnummer in einer Anwendung ändert, kann diese Änderung asynchron kaskadiert werden.

Streaming mit Batch-Updates vergleichen

Datenströme kaskadieren Datenänderungen, sobald sie auftreten. Dies ist der bevorzugte Ansatz, wenn der Zugriff auf nahezu Echtzeitdaten erforderlich ist. Daten werden extrahiert, transformiert und an ihr Ziel geliefert, sobald sie geändert werden.

Batch-Aktualisierungen sind besser geeignet, wenn Daten vor der Auslieferung stapelweise verarbeitet werden müssen. Das Zusammenfassen oder Durchführen einer statistischen Analyse der Daten und die Bereitstellung nur des Ergebnisses ist ein Beispiel dafür. Batch-Aktualisierungen können auch die interne Konsistenz der Daten zu einem bestimmten Zeitpunkt beibehalten, wenn alle Daten zu einem bestimmten Zeitpunkt extrahiert werden. Batch-Aktualisierungen durch einen Extract, Transform, Load (ETL oder ELT)-Prozess werden in der Regel für Data Lakes, Data Warehousing und Analysen verwendet.

Big Data-Management

Unter Big Data versteht man die großen Datenmengen, die ein Unternehmen über einen kurzen Zeitraum mit hoher Geschwindigkeit sammelt. Video-Newsfeeds in sozialen Medien und Datenströme von intelligenten Sensoren sind Beispiele für Big Data. Sowohl der Umfang als auch die Komplexität der Abläufe stellen das Big Data-Management vor Herausforderungen. Ein Big Data-System speichert beispielsweise Daten wie:

• Strukturierte Daten, die im tabellarischen Format gut dargestellt werden
• Unstrukturierte Daten wie Dokumente, Bilder und Videos
• Halbstrukturierte Daten, die die beiden vorherigen Typen kombinieren

Big Data-Managementtools müssen die Daten verarbeiten und für Analysen vorbereiten. Die für Big Data erforderlichen Tools und Techniken erfüllen in der Regel die folgenden Funktionen: Datenintegration, Datenspeicherung und Datenanalyse.

Datenarchitektur und Datenmodellierung

Datenarchitektur

Die Datenarchitektur beschreibt die Datenbestände einer Organisation und bietet eine Vorlage für die Erstellung und Verwaltung des Datenflusses. Der Datenverwaltungsplan umfasst technische Details wie Betriebsdatenbanken, Data Lakes, Data Warehouses und Server, die für die Implementierung der Datenverwaltungsstrategie am besten geeignet sind.

Datenmodellierung

Datenmodellierung ist der Prozess der Erstellung konzeptioneller und logischer Datenmodelle, die die Workflows und Beziehungen zwischen verschiedenen Datentypen visualisieren. Die Datenmodellierung beginnt typischerweise damit, die Daten konzeptionell darzustellen und sie dann erneut im Kontext der gewählten Technologien darzustellen. Datenverwalter erstellen während der Daten-Design-Phase mehrere verschiedene Arten von Datenmodellen.

Daten-Governance

Daten-Governance umfasst die Richtlinien und Verfahren, die ein Unternehmen implementiert, um Datensicherheit, Integrität und verantwortungsvollen Datennutzung zu verwalten. Es definiert die Datenverwaltungsstrategie und legt fest, wer auf welche Daten zugreifen kann. Daten-Governance-Richtlinien legen auch Rechenschaftspflicht für die Art und Weise fest, wie Teams und Einzelpersonen auf Daten zugreifen und Zu den Daten-Governance-Funktionen gehören typischerweise:

Gesetzliche Vorschriften

Daten-Governance-Richtlinien reduzieren das Risiko von Bußgeldern oder Maßnahmen. Sie konzentrieren sich auf die Schulung der Mitarbeiter, damit die Einhaltung von Gesetzen auf allen Ebenen erfolgt. Beispielsweise arbeitet eine Organisation mit einem externen Entwicklungsteam zusammen, um ihre Datensysteme zu verbessern. Daten-Governance-Manager überprüfen, ob alle personenbezogenen Daten entfernt wurden, bevor sie sie an das externe Team zur Verwendung für Testzwecke weitergeben.

Datensicherheits- und Zugriffskontrolle

Daten-Governance verhindert unbefugten Zugriff auf Daten und schützt sie vor Beschädigung. Es umfasst alle Schutzaspekte, wie zum Beispiel die folgenden:

• Versehentliches Verschieben oder Löschen von Daten verhindern
• Sicherung des Netzwerkzugriffs zur Reduzierung des Risikos von Netzwerkangriffen
• Überprüfen, ob die physischen Rechenzentren, in denen Daten gespeichert werden, die Sicherheitsanforderungen erfüllen
• Schutz der Daten auch dann, wenn Mitarbeiter von privaten Geräten aus darauf zugreifen
• Benutzerauthentifizierung, Autorisierung und das Festlegen und Erzwingen von Zugriffsberechtigungen für Daten
• Sicherstellen, dass die gespeicherten Daten den Gesetzen des Landes entsprechen, in dem die Daten gespeichert werden
   

Bewährte Methoden für die Datenverwaltung bilden die Grundlage für eine erfolgreiche Datenstrategie. Im Folgenden sind gängige bewährte Methoden aufgeführt.

Team-Zusammenarbeit

Geschäftsanwender und technische Teams müssen zusammenarbeiten, um sicherzustellen, dass die Datenanforderungen eines Unternehmens erfüllt werden. Bei der gesamten Datenverarbeitung und -analyse sollten die Anforderungen an Business Intelligence priorisiert werden. Andernfalls bleiben die gesammelten Daten ungenutzt und Ressourcen werden in schlecht geplanten Datenverwaltungsprojekten verschwendet.

Automatisierung

Eine erfolgreiche Datenverwaltungsstrategie beinhaltet Automatisierung bei den meisten Datenverarbeitungs- und Vorbereitungsaufgaben. Das manuelle Ausführen von Datentransformationsaufgaben ist mühsam und führt auch zu Fehlern im System. Selbst eine begrenzte Anzahl manueller Aufgaben, wie das Ausführen wöchentlicher Batch-Aufträge, kann zu Systemengpässen führen. Datenverwaltungssoftware kann eine schnellere und effizientere Skalierung unterstützen.

Cloud Computing

Unternehmen benötigen moderne Datenverwaltungslösungen, die ihnen ein breites Spektrum an Funktionen bieten. Eine Cloud-Lösung kann alle Aspekte der Datenverwaltung in großem Maßstab verwalten, ohne die Leistung zu beeinträchtigen. Beispielsweise bietet AWS eine breite Palette von Funktionen wie Datenbanken, Data Lakes, Analysen, Datenzugänglichkeit, Datenverwaltung und Sicherheit aus einem einzigen Konto heraus.