Cos'è un data lakehouse?

I data lakehouse forniscono funzionalità di gestione dei dati per consentire alle organizzazioni di creare hub di elaborazione dati scalabili, complessi e a bassa latenza. Di seguito condividiamo alcune funzionalità chiave di un data lakehouse.

Supporta diversi tipi di dati e carichi di lavoro

I data lakehouse possono archiviare diversi tipi di dati, tra cui testo, immagini, video e file audio, senza ulteriori passaggi di trasformazione o uno schema rigido. Ciò consente una rapida importazione dei dati, che sono così correttamente aggiornati per le applicazioni connesse.

Per supportare la diversità dei dati, un data lakehouse archivia i dati grezzi in uno spazio di archiviazione basato su oggetti. L'archiviazione basata su oggetti è un tipo di architettura di archiviazione di dati ottimizzata per la gestione di elevati volumi di dati non strutturati.

Supporto alle transazioni

Un data lakehouse fornisce funzionalità di gestione dei dati per l'archiviazione di transazioni con conformità ACID, simili a quelle presenti nei database convenzionali. ACID è l'acronimo di atomicità, coerenza, isolamento e durabilità.

• L'atomicità tratta tutte le transazioni di dati come una singola unità, il che significa che vengono implementate correttamente o meno.
• La coerenza si riferisce al comportamento prevedibile del database che si verifica quando si aggiorna una tabella di dati specifica. Ogni aggiornamento segue regole predefinite, che garantiscono la coerenza dei dati.
• L'isolamento consente l'esecuzione di più transazioni senza che esse interferiscano l'una con l'altra. Anche se più utenti aggiornano il database contemporaneamente, ogni operazione viene eseguita in modo indipendente, ossia ciascuna transazione termina prima dell'inizio di quella successiva.
• La durabilità è la capacità del database di conservare e salvare le modifiche anche in caso di guasto del sistema.

Nel complesso, l'approccio ACID garantisce l'integrità dei dati, consentendo ai team di software di creare applicazioni che si basano su un'archiviazione affidabile dei dati transazionali.

Importazione dei flussi di dati

I flussi di dati sono un flusso continuo di informazioni provenienti da fonti di dati come dispositivi Internet delle cose (IoT), transazioni finanziarie e servizi applicativi.

Alcune applicazioni richiedono lo streaming dei dati per riflettere e visualizzare le modifiche dei dati quasi in tempo reale. L'architettura data lakehouse è in grado di acquisire flussi di dati e renderli disponibili per le applicazioni rivolte agli utenti. Inoltre, i data scientist possono creare strumenti di analisi sulla base dei flussi di dati e visualizzarli mediante diagrammi, tabelle e grafici.

Integrazioni Zero ETL

Zero ETL è un processo di dati che bypassa le complesse pipeline di trasformazione dei dati durante lo spostamento degli stessi. Un'infrastruttura di data lakehouse consente l'integrazione Zero ETL.

Convenzionalmente, le organizzazioni costruiscono i propri carichi di lavoro su un data warehouse e un data lake. Queste configurazioni dei dati richiedono pipeline ETL aggiuntive per interrogare e trasformare i dati. Con un'integrazione Zero ETL, i data scientist possono interrogare diversi silo di dati senza creare pipeline di dati aggiuntive.

Quando un data lakehouse importa i dati, li trasforma automaticamente in formati in linea con i requisiti di analisi aziendale. Ad esempio, Amazon Redshift supporta l'integrazione Zero ETL con Amazon Aurora. Redshift è un data warehouse, mentre Aurora è un sistema di gestione di database relazionali. Una volta integrati, i dati importati da Aurora vengono replicati automaticamente su Redshift in pochi secondi. In questo modo, le organizzazioni possono aumentare i tempi di acquisizione degli approfondimenti mantenendo un'infrastruttura dati semplice ed economica.

Analisi unificate

Un data lakehouse fornisce una piattaforma dati unificata per accedere a tutti i dati archiviati. Aiuta i data architect a superare la duplicazione, l'incoerenza e la frammentazione dei dati tra più sistemi.

Un altro vantaggio chiave dell'analisi centralizzata è che consente di evitare spostamenti di dati non necessari nell'archiviazione cloud. Invece di interrogare dati isolati, i team di dati archiviano, analizzano e condividono i dati da un'unica interfaccia che si connette al data lakehouse. Ad esempio, è possibile recuperare dati non strutturati per un carico di lavoro di machine learning e generare report sulle prestazioni di marketing da una singola copia dei dati.

Editor di query

Analisti di dati, ingegneri di machine learning e utenti dei dati possono accedere facilmente ai dati all'interno di un data lakehouse utilizzando un editor di query SQL. Possono creare comandi SQL per la visualizzazione e l'analisi dei dati, sfogliare i dati storici, creare schemi di database e altro ancora. Inoltre, un editor di query migliora la collaborazione, consentendo agli ingegneri dei dati di condividere facilmente le query che creano.

Supporto ML/IA

I data lakehouse sono progettati per creare, testare e scalare carichi di lavoro di intelligenza artificiale e machine learning (IA/ML). Oltre a fornire l'accesso diretto ai dati non strutturati, molti fornitori di data lakehouse offrono librerie, strumenti e analisi di machine learning che semplificano lo sviluppo IA.

Ad esempio, Amazon SageMaker Lakehouse si integra perfettamente con Amazon SageMaker Unified Studio, fornendo accesso a strumenti e analisi per accelerare i flussi di lavoro di IA/ML.

Amazon SageMaker Lakehouse è un data lakehouse utilizzato dalle organizzazioni per elaborare exabyte di dati, con l'obiettivo di ottenere approfondimenti aziendali e di potenziare i carichi di lavoro di IA. Amazon SageMaker Lakehouse è profondamente integrato con i servizi di archiviazione di dati, analisi e machine learning di AWS per aiutarti in quanto segue:

• Accedere ai dati esistenti per eseguire analisi quasi in tempo reale
• Creare modelli di intelligenza artificiale e machine learning su un unico hub di dati
• Accedere ai dati, combinarli e condividerli in modo sicuro con movimenti o copie minimi

Con un'architettura che separa elaborazione e archiviazione per una scalabilità efficiente, Amazon SageMaker Lakehouse offre prezzi e prestazioni migliori rispetto ad altri data lakehouse cloud.

Amazon SageMaker Lakehouse si integra con i data warehouse e i data lake AWS:

• Amazon Redshift è una soluzione di data warehouse che offre un rapporto prezzo/prestazioni senza pari su larga scala con SQL per i data lakehouse
• Amazon S3 è uno spazio di archiviazione basato su oggetti di data lake per archiviare e recuperare qualsiasi volume di dati da qualsiasi origine

Inizia a utilizzare i data lakehouse su AWS creando un account gratuito oggi stesso.