Passa al contenuto principale
Cos'è l'analisi dei database Quali sono i principali tipi di sistemi di dati utilizzati nell'analisi? Come si implementa l'analisi dei database su AWS? In che modo AWS può supportare le tue esigenze di analisi dei database?

Cos'è l'analisi dei database

I dati sono alla base del processo decisionale delle aziende e richiedono quindi una gestione, un trattamento e un'analisi accurati. Operazioni improprie sui dati, anche da parte degli analisti di dati più esperti, possono portare a ipotesi errate e decisioni sbagliate.

Una pipeline di analisi dei dati matura consente alle organizzazioni di identificare con precisione le tendenze, eseguire analisi descrittive, prescrittive e statistiche, nonché introdurre funzionalità di machine learning e IA.

La scelta di un sistema di analisi del database dipende dai dati esistenti, dai formati di database correnti e dagli altri tipi di analisi richiesti. I dati vengono archiviati nelle aziende in vari formati, tra cui database relazionali e non relazionali e altri formati di file. I database relazionali e non relazionali hanno un supporto integrato per l'analisi di base, ma questi da soli non sono sufficienti per ottenere informazioni più approfondite su tutte le funzioni e le origini aziendali.

Gli analisti di dati necessitano di data warehouse, data lake e lakehouse per l'integrazione dei dati da origini diverse, che appronta i dati per il data mining e l'analisi multiformato e interfunzionale.

Esploriamo tutte queste diverse tecnologie all'interno del panorama di analisi dei database nel resto della guida.

Quali sono i principali tipi di sistemi di dati utilizzati nell'analisi?

Ecco una breve panoramica dei diversi tipi di sistemi disponibili per l'analisi.

Database relazionali

I database relazionali sono raccolte di dati strutturati, organizzati in tabelle con righe e colonne. Ogni tabella contiene una raccolta di dati correlati che rappresentano oggetti o concetti del mondo reale.

Ogni riga di una tabella rappresenta un singolo record, ad esempio i dettagli di un cliente, tra cui nome, numero di telefono e indirizzo. Ogni tabella può essere correlata a una o più altre tabelle. Ad esempio, una tabella clienti può essere correlata a una tabella acquisti, consentendo di collegare ogni acquisto a un cliente specifico.

Tutti i sistemi di gestione di database relazionali hanno uno schema fisso, come descritto sopra, e supportano Structured Query Language (SQL) per l'interrogazione dei dati tra e all'interno delle tabelle.

Esempi di servizi di database relazionali su AWS includono Amazon Relational Database Service e Amazon Aurora, una soluzione di database relazionale ad alte prestazioni e scalabile a livello globale per PostgreSQL, MySQL e DSQL.

Database non relazionali

I database non relazionali hanno uno schema flessibile e sono noti anche come database NoSQL, in quanto non supportano le query tramite SQL. I diversi tipi di database non relazionali includono: database chiave-valore, database di documenti, database a colonne larghe, database a grafo, database in memoria e database di ricerca.

Ciascun tipo di database NoSQL è indicato per un caso d'uso specifico. Ad esempio, un database di documenti è adatto per un sistema di gestione dei contenuti interno e un archivio a colonne larghe è adatto per i dati di serie temporali provenienti da una flotta IoT.

Di seguito sono riportati alcuni esempi di servizi di database non relazionali su AWS.

  • Amazon DynamoDB è un database serverless, NoSQL, completamente gestito con prestazioni nell'ordine dei millisecondi, adatto per database chiave-valore e archivi di documenti.
  • Amazon DocumentDB (compatibile con MongoDB) è un servizio di database di documenti JSON nativo completamente gestito.
  • Amazon Keyspaces (per Apache Cassandra) è un servizio scalabile, altamente disponibile e gestito per database a colonne larghe compatibili con Apache Cassandra.
  • Amazon Neptune è un servizio di database a grafo serverless ad alte prestazioni che offre analisi, scalabilità e disponibilità superiori.
  • Amazon ElastiCache è un servizio di caching in memoria completamente gestito compatibile con i database in memoria Valkey, Redis e Memcached.
  • Amazon MemoryDB è un servizio di database in memoria durevole e compatibile con Valkey e Redis OSS che offre prestazioni ultra-veloci.

Data warehouse

Un data warehouse è una soluzione di analisi che estende le funzionalità dei database relazionali su vasta scala e supporta le query SQL. I data warehouse vengono utilizzati per archiviare e analizzare i dati relazionali su un gran numero di database. Una soluzione warehouse può trasformare i dati non relazionali durante il processo di estrazione, trasformazione, caricamento (ETL), normalizzandoli in modo che siano pronti per l'analisi.

Amazon Redshift è una soluzione di data warehouse gestita che consente di archiviare dati e scalare i carichi di lavoro di analisi dei dati senza problemi.

Data lake

Un data lake è un repository centralizzato che permette di archiviare tutti i dati strutturati e non strutturati su qualsiasi scala. La trasformazione dei dati può avvenire prima o dopo il trasferimento nel data lake. Un data lake richiede servizi aggiuntivi per l'ETL e l'analisi; l'analisi dei dati grezzi in genere non è prevista.

Amazon S3 è un'archiviazione di dati a oggetti progettata per recuperare qualsiasi quantità di dati da qualsiasi luogo, che può fungere da data lake. S3 può essere combinato con AWS Lake Formation per l'accesso ai dati, l'autorizzazione e la condivisione dei dati archiviati.

Data lakehouse

Un data lakehouse è una combinazione di un data warehouse e un data lake. Un data lakehouse può archiviare dati strutturati e non strutturati, fornisce un livello di formato per aggiungere schema e struttura e include un motore di query. Un data lakehouse è un livello necessario nella moderna analisi dei dati aziendali grazie alla sua capacità di eseguire query su tutti i dati contemporaneamente.

Amazon SageMaker Lakehouse unifica i dati tra data lake Amazon S3 e warehouse di database analitici Amazon Redshift. Amazon SageMaker Lakehouse offre la flessibilità di accedere ai dati e sottoporli a query sul posto con tutti gli strumenti e i motori compatibili con Apache Iceberg.

Altri tipi

Nell'analisi a livello aziendale, vari tipi di dati potrebbero non adattarsi perfettamente al modello di database relazionale o non relazionale, come file e tabelle non elaborati. Ciò significa che sono archiviati in formati diversi. Ad esempio, i flussi di dati semi-strutturati possono essere archiviati in file Apache Avro, mentre Amazon S3 può essere utilizzato per archiviare qualsiasi tipo di dati.

Quando si seleziona un sistema di analisi dei dati, probabilmente sarà necessaria la capacità di analizzare questi tipi di file insieme ai database.

Come si implementa l'analisi dei database su AWS?

Database, tipi di dati e sistemi di archiviazione e gestione di database diversi gestiscono ciascuno l'analisi dei dati in modi unici. L'esecuzione di analisi su data warehouse, data lake e lakehouse richiede strategie e tecnologie diverse.

Garantisci la governance dei dati di base sin dall'inizio utilizzando Amazon DataZone per catalogare, scoprire, condividere e governare i dati archiviati su origini AWS, on-premises e di terze parti.

Flusso di lavoro gestito da Amazon per Apache Airflow (MWAA) semplifica l'orchestrazione del processo di analisi dei dati attraverso il trasferimento e la trasformazione dei dati come strumento di automazione della pipeline. Inoltre, consente di attivare flussi di lavoro di analisi nel tuo warehouse, lake o lakehouse.

Fase 1: accentramento dei dati da diverse origini in un sistema più grande

Esistono vari modi per trasferire i dati dalle origni attuali ai data warehouse, ai data lake e ai data lakehouse. Potrebbe essere necessario trasformare e pulire i dati prima dell'archiviazione. Alcuni dati potrebbero richiedere ulteriori considerazioni, come i tipi di dati sensibili dei clienti, le autorizzazioni di accesso e l'accesso sul posto.

Il modo più semplice per trasferire i dati in preparazione per una configurazione di warehouse, lake o lakehouse AWS è spostare prima i dati su S3.

Lo streaming di dati può richiedere nuovi servizi come Amazon Data Firehose, per la distribuzione di dati in streaming in tempo reale, o Flussi di dati Amazon Kinesis, per l'acquisizione e l'aggregazione.

Fase 2: trasformazione e normalizzazione dei dati

Per poter eseguire analisi, alcuni dati richiedono la trasformazione e la normalizzazione.

AWS Glue rileva e si connette a più di 100 diverse origini dati, gestisce i dati in un catalogo centralizzato e crea, esegue e monitora visivamente le pipeline di dati per caricare i dati nei data lake, warehouse e lakehouse del cliente. AWS Glue DataBrew è un nuovo strumento di preparazione visiva dei dati che semplifica la pulizia e la normalizzazione dei dati da parte di analisti e data scientist.

Amazon EMR offre runtime ottimizzati per le prestazioni per l'analisi dei big data di Apache Spark, Trino, Apache Flink e Hive, semplificando i flussi di lavoro e i tempi di elaborazione dei data lake.

Amazon SageMaker Data Wrangler è il modo più facile e veloce per preparare dati per il machine learning.

Fase 3: analisi combinata dei dati

Una volta che i dati sono stati archiviati, connessi e trasformati, gli analisti di dati possono utilizzare il data warehouse, lake o lakehouse per eseguire l'analisi. Esistono diverse tecniche di analisi dei dati a seconda del caso d'uso.

Esecuzione di query

Amazon Redshift dispone di funzionalità di query integrate per il tuo data warehouse. Amazon Athena semplifica l'analisi e l'interrogazione dei dati non strutturati, semi-strutturati e strutturati archiviati nei data lake Amazon S3. È ottimizzato per l'esecuzione di analisi ed esplorazione dei dati in tempo reale, consentendo agli utenti di interrogare e visualizzare i dati in modo interattivo. Amazon SageMaker Lakehouse offre anche funzionalità di query integrate.

Business intelligence

Amazon QuickSight fornisce analisi unificate dei dati di business intelligence (BI) su larga scala, inclusi data warehouse, data lake e lakehouse. La visualizzazione dei dati è un servizio chiave di Amazon QuickSight.

Machine learning

Amazon Redshift ML può essere utilizzato per l'analisi del machine learning nei warehouse Redshift. Amazon SageMaker offre funzionalità di machine learning e altre funzionalità di analisi su data lake e lakehouse.

Su Amazon SageMaker Lakehouse

SageMaker Lakehouse consente di accedere ai dati e sottoporli a query a livello locale con tutti gli strumenti compatibili con Apache Iceberg su una singola copia di dati. Puoi utilizzare strumenti e motori di analisi a tua scelta come SQL, Apache Spark, business intelligence (BI) e strumenti di IA/ML e collaborare con i dati archiviati su data lake Amazon S3 e warehouse Amazon Redshift.

Streaming di dati

Amazon Kinesis è in grado di raccogliere, elaborare e analizzare flussi di dati e video in tempo reale in modo sicuro e scalabile.

In che modo AWS può supportare le tue esigenze di analisi dei database?

L'analisi dei database richiede molto di più che semplici query SQL nei moderni ambienti aziendali. Sfruttando data warehouse, data lake e lakehouse, gli analisti di dati possono trarre pieno valore dai dati, eseguendo analisi dei dati su varie origini, tipi e funzioni.

La giusta architettura di analisi del database aiuta a garantire che la soluzione sia scalabile, pronta per l'uso e integrabile con i servizi ML e l'analisi predittiva ormai essenziali. Inizia creando un account gratuito su AWS oggi stesso.