Cos'è la gestione dei dati?

La pratica della gestione dei dati comprende la raccolta e la distribuzione di dati di alta qualità, oltre alla governance dei dati, per controllare l'accesso ai dati.

La governance dei dati include le policy e le procedure che un'organizzazione implementa per gestire la sicurezza dei dati, l'integrità e l'utilità responsabile dei dati. Definisce la strategia di gestione dei dati e determina chi può accedere a quali dati. Le policy di governance dei dati stabiliscono anche la responsabilità nel modo in cui i team e gli individui accedono e utilizzano i dati. Le funzioni di governance dei dati generalmente includono:

Profilazione dei dati

La profilazione dei dati è il processo diagnostico di analisi dei dati per determinarne la struttura, la qualità e le caratteristiche. Questo è il primo passo per comprendere un set di dati esistente, per decidere se è necessario o meno il refactoring prima dell'uso.

Lignaggio dei dati

Data Lineage tiene traccia dei flussi di dati all'interno di un'organizzazione. La derivazione dei dati con data e ora viene utilizzata per determinare da dove proviene un dato, come è stato utilizzato e quando è stato trasformato. Questo processo di gestione dei dati è particolarmente importante nei processi di audit.

Catalogo dati

I cataloghi di dati sono una raccolta delle risorse di dati dell'organizzazione e dei relativi metadati. Archiviando tutte le informazioni relative ai dati in un catalogo centrale, diventa il principale registro di dati all'interno dell'organizzazione. Gli utenti possono aspettarsi che il catalogo dati contenga le informazioni più aggiornate su tutte le risorse di dati.

Sicurezza dei dati e controllo degli accessi

La governance dei dati impedisce l'accesso non autorizzato ai dati e li protegge dal danneggiamento. Include tutti gli aspetti della protezione, ad esempio:

• Impedire lo spostamento o l'eliminazione accidentali dei dati
• Proteggere l'accesso alla rete per ridurre il rischio di attacchi
• Verificare che i data center fisici che archiviano i dati soddisfino i requisiti di sicurezza
• Proteggere i dati anche quando i dipendenti vi accedono da dispositivi personali
• Autenticare e autorizzare gli utenti e impostare e applicare le autorizzazioni di accesso per i dati
• Garantire che i dati archiviati siano conformi alle leggi del paese in cui sono archiviati
• Aggiungere ulteriori livelli di controllo per i dati sensibili

Conformità dei dati

Le politiche di conformità dei dati riducono il rischio di sanzioni o azioni normative. Il rispetto delle leggi sulla conformità come il GDPR e il CCPA è essenziale per le operazioni.

Le attività di conformità si concentrano sulla modellazione dei dati, sui controlli del software e sulla formazione dei dipendenti in modo che il rispetto delle leggi avvenga a tutti i livelli. Ad esempio, un'organizzazione collabora con un team di sviluppo esterno per migliorare i propri sistemi di dati. I responsabili della governance dei dati verificano che tutti i dati personali vengano rimossi prima di passarli al team esterno affinché li utilizzi a scopo di test.

Gestione del ciclo di vita dei dati

La gestione del ciclo di vita dei dati si riferisce al processo di gestione dei dati durante il loro ciclo di vita. 

Ad esempio:

• I dati devono essere verificati al momento dell'ingestione e a intervalli regolari
• I dati devono essere conservati per periodi di tempo specifici a fini di revisione
• I dati devono essere cancellati quando non sono più necessari

Gestione della qualità dei dati

Gli utenti dei dati si aspettano che i dati siano sufficientemente affidabili e coerenti per ogni caso d'uso.

I responsabili della qualità dei dati si occupano di misurare e migliorare la qualità dei dati di un'organizzazione. In particolare, esaminano sia i dati esistenti che quelli nuovi e verificano che soddisfino gli standard. Possono anche impostare processi di gestione dei dati che impediscono l'ingresso di dati di bassa qualità nel sistema. Gli standard di qualità dei dati generalmente misurano quanto segue:

• Mancano le informazioni chiave o i dati sono completi? (ad esempio, il cliente omette le informazioni di contatto chiave)
• I dati soddisfano le regole di base per il controllo dei dati? (Ad esempio, un numero di telefono deve essere composto da un determinato numero di cifre)
• Con che frequenza vengono visualizzati gli stessi dati nel sistema? (Ad esempio, presenza di dati doppi sullo stesso cliente)
• I dati sono accurati? (ad esempio, il cliente inserisce l'indirizzo email sbagliato)
• La qualità dei dati è coerente in tutto il sistema? (Ad esempio, la data di nascita è in formato gg/mm/aaaa in un set di dati e in formato mm/gg/aaaa in un altro)

Integrazione di dati

Endpoint per la distribuzione dei dati

Per la maggior parte delle organizzazioni, i dati devono essere distribuiti nei vari endpoint in cui sono necessari (o vicino a tali endpoint). Questi includono sistemi operativi, data lake e data warehouse. La distribuzione dei dati è necessaria a causa delle latenze di rete. Quando i dati sono necessari per l'utilizzo operativo, la latenza di rete potrebbe non essere sufficiente per distribuirli tempestivamente. L'archiviazione di una copia dei dati in un database locale risolve il problema della latenza di rete.

La distribuzione dei dati è necessaria anche per il consolidamento dei dati. I data warehouse e i data lake consolidano i dati provenienti da varie fonti per presentare una visione consolidata delle informazioni. I data warehouse vengono utilizzati per l'analisi e il processo decisionale, mentre i data lake sono un hub consolidato dal quale è possibile estrarre i dati per vari casi d'uso.

Meccanismi di replica dei dati e impatto sulla consistenza

I meccanismi di distribuzione dei dati hanno un potenziale impatto sulla consistenza dei dati e questa è una considerazione importante nella gestione dei dati.

La forte consistenza deriva dalla replica sincrona dei dati. In questo approccio, quando un valore di dati viene modificato, tutte le applicazioni e gli utenti vedranno il valore modificato dei dati. Se il nuovo valore dei dati non è stato ancora replicato, l'accesso ai dati viene bloccato fino all'aggiornamento di tutte le copie. La replica sincrona dà priorità alla consistenza piuttosto che alle prestazioni e all'accesso ai dati. La replica sincrona viene spesso utilizzata per i dati finanziari.

La consistenza finale deriva dalla replica asincrona dei dati. Quando i dati vengono modificati, le copie vengono aggiornate (di solito entro pochi secondi), ma l'accesso alle copie obsolete non viene bloccato. Per molti casi d'uso, questo non è un problema. Ad esempio, i post sui social media, i Mi piace e i commenti non richiedono una forte consistenza. Un altro esempio è che, se un cliente cambia il proprio numero di telefono in un'applicazione, questa modifica può essere trasferita in modo asincrono.

Confronto tra streaming e aggiornamenti in batch

I flussi di dati trasmettono rapidamente le modifiche dei dati man mano che si verificano. Questo è l'approccio preferito se è richiesto l'accesso a dati quasi in tempo reale. I dati vengono estratti, trasformati e consegnati a destinazione non appena vengono modificati.

Gli aggiornamenti in batch sono più appropriati quando i dati devono essere elaborati in batch prima della consegna. Un esempio di ciò consiste nel riepilogare o eseguire le analisi statistiche dei dati e fornire solo il risultato. Gli aggiornamenti in batch possono anche preservare la consistenza interna point-in-time dei dati se tutti i dati vengono estratti in un determinato momento. Gli aggiornamenti in batch tramite un processo di estrazione, trasformazione e caricamento (ETL o ELT) vengono generalmente utilizzati per data lake, data warehousing e analisi.

Gestione dei dati master

La gestione dei dati master (MDM) si riferisce al processo di gestione dei dati aziendali essenziali. La coerenza e la sincronizzazione dei dati sono entrambe molto importanti per MDM.

Esempi di dati master includono i dati dei clienti, i dati dei partner e i dati dei prodotti. Questi dati fondamentali sono principalmente persistenti e non cambiano spesso. Esempi di questi dati in uso includono il software CRM (Customer Relationship Management) e Enterprise Resource Planning (ERP).

La gestione dei dati master è essenziale per garantirne l'accuratezza tra i sistemi, inclusa la sincronizzazione e l'integrazione dei dati negli aggiornamenti.

Le migliori pratiche di gestione dei dati costituiscono la base di una strategia di dati di successo. Di seguito sono riportati i principi comuni di gestione dei dati per aiutarti a creare una solida base di dati.

Lavoro di squadra

Gli utenti aziendali e i team tecnici devono collaborare per garantire che i requisiti dei dati di un'organizzazione siano soddisfatti. Nell'elaborazione e nell'analisi di tutti i dati si dovrebbe dare priorità ai requisiti di business intelligence. In caso contrario, i dati raccolti rimarranno inutilizzati, con risorse sprecate in progetti di gestione dei dati pianificati in modo poco efficace.

Automazione

Una strategia di gestione dei dati corretta incorpora l'automazione nella maggior parte delle attività di elaborazione e preparazione dei dati. L'esecuzione manuale delle attività di trasformazione dei dati è noiosa e introduce anche errori nel sistema. Anche un numero limitato di attività manuali, come l'esecuzione di processi batch settimanali, può causare colli di bottiglia del sistema. Il software di gestione dei dati può supportare un dimensionamento più rapido ed efficiente.

Cloud computing

Le aziende richiedono soluzioni di gestione dei dati moderne che forniscano loro un ampio set di funzionalità. Una soluzione cloud può gestire tutti gli aspetti della gestione dei dati su larga scala senza compromettere le prestazioni. Ad esempio, AWS offre un'ampia gamma di funzionalità, come database, data lake, analisi, accessibilità dei dati, governance dei dati e sicurezza, da un unico account.