AWS Lake Formation

Crea un data lake sicuro in pochi giorni

AWS Lake Formation è un servizio che semplifica la creazione di un data lake sicuro in pochi giorni. Un data lake è un repository curato e sicuro, che archivia tutti i tuoi dati, sia nel loro formato originale che preparati per l'analisi. Un data lake consente di suddividere i silos di dati e di combinare diversi tipi di analisi per ottenere informazioni dettagliate e guidare le migliori decisioni aziendali.

Tuttavia, la configurazione e la gestione di data lake comporta oggi una serie di attività manuali, complicate e che richiedono molto tempo. Queste attività includono il caricamento dei dati da diverse fonti, il monitoraggio dei flussi di dati, la configurazione delle partizioni, l'attivazione della crittografia e la gestione delle chiavi, la definizione dei processi di trasformazione e il monitoraggio del loro funzionamento, la riorganizzazione dei dati in un formato a colonne, la deduplicazione dei dati ridondanti e la corrispondenza dei record collegati. Una volta che i dati sono stati caricati nel data lake, è necessario concedere un accesso granulare ai set di dati e controllarlo nel tempo attraverso vari strumenti e servizi di analisi dei dati e machine learning (ML).

Creare un data lake con Lake Formation è semplice quanto definire le origini dati e le policy di accesso e sicurezza che si desidera applicare. Lake Formation consente di raccogliere e catalogare i dati dai database e dall'archiviazione di oggetti, spostare i dati nel nuovo data lake Amazon Simple Storage Service (S3), pulire e classificare i dati utilizzando algoritmi ML e proteggere l'accesso ai dati sensibili utilizzando controlli granulari a livello di colonna, riga e cella. Gli utenti possono accedere a un catalogo centralizzato di dati che descrive i set di dati disponibili e il loro utilizzo appropriato. Possono quindi sfruttare questi set di dati con i servizi di analisi dei dati e di machine learning di loro scelta, come Amazon Redshift, Amazon Athena, Amazon EMR per Apache Spark e Amazon QuickSight. Lake Formation si affida alle funzionalità disponibili in AWS Glue.

AWS re:Invent 2018: Presentazione di AWS Lake Formation (2:44)

Vantaggi

Crea data lake velocemente

Con Lake Formation puoi spostare, archiviare, catalogare e pulire i dati più rapidamente. Basta semplicemente puntare Lake Formation verso le origini dati, dopodiché Lake Formation effettua la loro ricerca per indicizzazione e le sposta nel nuovo data lake di Amazon S3. Lake Formation organizza i dati in S3 in base a termini di query utilizzati di frequente e in forma di blocchi dalle dimensioni adatte per aumentare l'efficienza. Inoltre, modifica i dati in formati come Apache Parquet e ORC per analisi più rapide. In più, Lake Formation dispone di Machine Learning integrato per deduplicare e individuare record corrispondenti (due voci che si riferiscono alla stessa cosa), in modo da aumentare la qualità dei dati.

Semplifica la gestione della sicurezza

Lake Formation fornisce un'unica posizione per definire e applicare controlli di accesso che operano a livello di tabella, colonna, riga e cella per tutti gli utenti e i servizi che accedono ai dati. Le tue policy sono implementate in modo coerente, eliminando la necessità di configurarle manualmente tra servizi di sicurezza come AWS Identity and Access Management (IAM) e AWS Key Management Service (KMS), servizi di archiviazione come S3 e servizi di analisi dei dati e ML come Redshift, Athena, AWS Glue ed EMR per Apache Spark. In questo modo si riduce lo sforzo relativo alla configurazione delle policy tra i servizi e si garantisce la loro coerente applicazione e conformità.

Assicura l'accesso self-service ai dati

Con Lake Formation, crei un catalogo dati che descrive i diversi set di dati disponibili e quali gruppi di utenti hanno accesso a ciascuno di essi. In questo modo, gli utenti sono più produttivi, perché trovano più facilmente il set di dati da analizzare. Fornendo un catalogo dati con un'applicazione della sicurezza coerente, Lake Formation semplifica l'uso del servizio di analisi preferito da parte dei tuoi analisti e Data Scientist. Possono utilizzare EMR per Apache Spark, Redshift, Athena, AWS Glue e Amazon QuickSight su diversi set di dati ora ospitati in un unico data lake. Gli utenti possono anche combinare questi servizi senza dover spostare i dati tra i silos di dati.

Come funziona

Come funziona

Lake Formation aiuta a costruire, rendere sicuro e gestire il data lake. Innanzitutto, identifica i datastore esistenti in S3 o i database relazionali e NoSQL e sposta i dati nel data lake. Quindi effettua una ricerca per indicizzazione, cataloga e prepara i dati per l'analisi. Fornisci agli utenti un accesso self-service sicuro ai dati mediante il servizio di analisi dei dati da loro scelto. Anche altri servizi AWS e applicazioni di terza parte possono accedere ai dati attraverso i servizi mostrati. Lake Formation gestisce tutte le attività visualizzate nel riquadro arancione ed è integrato con gli archivi dati e i servizi visualizzati nei riquadri blu.

Casi d'uso

Crea data lake velocemente

Usa i progetti in Lake Formation per spostare, archiviare, catalogare, pulire e organizzare i tuoi dati più velocemente. Converti i dati in formati come Parquet e ORC per analisi più rapide e utilizza il machine learning integrato per deduplicare e individuare record corrispondenti. Semplifica il modo in cui archivi e gestisci i dati utilizzando le tabelle governate, un nuovo tipo di tabella Amazon S3. Le tabelle governate utilizzano transazioni ACID (atomiche, coerenti, isolate e durevoli) che gestiscono automaticamente i conflitti e garantiscono visualizzazioni di dati coerenti per tutti gli utenti. Le tabelle governate monitorano e ottimizzano automaticamente i dati per migliorare le prestazioni del motore durante l'interrogazione delle tabelle governate.

Definisci e gestisci centralmente i controlli di accesso

Lake Formation fornisce un'unica posizione per definire, classificare, taggare e gestire autorizzazioni granulari per i dati in Amazon S3. È possibile definire un elenco gerarchico di tag, taggare database, tabelle e colonne e configurare la sicurezza a livello di colonna e cella.

Applica la classificazione dei dati e l'accesso granulare

Lake Formation applica le policy senza dover configurare i controlli di accesso ai dati in ogni servizio che li utilizza. Lake Formation filtra automaticamente i dati e mostra agli utenti autorizzati solo quelli consentiti dalla policy definita, senza dover duplicare i dati.

Abilita la gestione continua dei dati, lo spostamento cronologico e l'ottimizzazione dell'archiviazione

Migliora l'affidabilità e l'attendibilità del data lake per l'aggiornamento dei dati in batch e in streaming. Esegui query sulle versioni dei dati storici e controlla i dati modificati. Compatta automaticamente piccoli file e abilita i filtri push-down per ridurre le scansioni dei dati e migliorare le prestazioni delle query.

Abilita data lake federati con condivisione tra account

Fornisci prodotti di dati decentralizzati e orientati al dominio in tutta l'organizzazione utilizzando una condivisione dei dati ben gestita, con spostamento di dati minimo o nullo.

Consulta "Cos'è un data lake?" per ulteriori informazioni.

Clienti

Nu Skin

Nu Skin Enterprises è un'azienda globale di vendita diretta che distribuisce più di 200 prodotti anti-age di alta qualità appartenenti alle categorie della cura personale e degli integratori alimentari.

"Abbiamo dovuto affrontare la sfida dell'espansione delle nostre capacità e del dimensionamento della velocità effettiva dei nostri sistemi analitici esistenti. I nostri dati erano distribuiti su diversi database e soluzioni SaaS non collegati, pertanto, era difficile analizzare i dati su larga scala e limitare nello stesso tempo l'accesso ai dati sensibili. Per superare questa sfida, abbiamo sviluppato una soluzione basata su data lake in AWS. Questo ci ha permesso di aggregare i dati di diversi silos di dati in Amazon S3, dove abbiamo catalogato e messo al sicuro tutti i dati usando AWS Lake Formation. Senza AWS Lake Formation, sarebbe stato impossibile ottenere un livello di sicurezza scalabile e di facile utilizzo per tutti i dati in Amazon S3. È stato semplice impostare e applicare controlli di accesso dettagliati basati sui profili degli utenti".

Joe Sueper, VP Enterprise Architecture, Global Technology Services (Vicepresidente architettura aziendale, Servizi tecnologici globali) – Nu Skin Enterprises

Panasonic

Panasonic Avionics Corporation è il fornitore leader mondiale dei sistemi di intrattenimento e di comunicazione in volo.

"Volevamo creare una piattaforma dati con la capacità di gestire le impostazioni di sicurezza per tutte le diverse applicazioni nel nostro ambiente. Con AWS Lake Formation, possiamo ora definire le policy in una sola volta e implementarle allo stesso modo, ovunque, per i diversi servizi che utilizziamo, compresi AWS Glue e Amazon Athena. Il livello di controllo avanzato ci offre un accesso sicuro a dati e metadati per colonne e tabelle, non solo per oggetti in blocco, il che è una parte importante del nostro standard di sicurezza e governance dei dati".

Anand Desikan, Director of Cloud and Data Services (Direttore cloud e servizi di dati) – Panasonic Avionics

Accenture

Accenture è un'azienda leader globale nel settore dei servizi professionali, che offre un'ampia gamma di servizi e soluzioni in termini di strategia, consulenza, tecnologia digitale e operazioni.

"Mi concentro sul fornire assistenza ai clienti nel loro viaggio dei dati sul cloud. In particolare, abbiamo visto che le aziende devono fare i conti con una mancanza di dati affidabili quando devono eseguire analisi sui dati provenienti da più origini. La disinfezione dei dati è un passaggio critico nell'analisi dei dati e può avere un forte impatto sui risultati aziendali e sulle decisioni prese. Le nuove funzionalità in AWS Lake Formation hanno garantito sensibili benefici nell'affrontare la difficoltà della veridicità dei dati e nell'assicurare l'accesso al data lake. È risultato eccezionalmente utile impiegare le tecniche di machine learning per la preparazione dei dati per individuare record corrispondenti, per la disinfezione e per la deduplicazione dei dati da più origini dati. Ciò contribuirà a ridurre il tempo, la fatica e i costi, migliorando al contempo la qualità e l'accuratezza dei dati nei data lake dei clienti".

Namrata Maheshwary, Senior Architect for the Data Business Group (Architetto senior per il gruppo aziendale dati) – Accenture

Zalando

Zalando è la principale piattaforma online europea per la moda e lo style.

"Come azienda tecnologica più alla moda dell'intera Europa, ci impegniamo per individuare soluzioni digitali per ogni aspetto del cammino della moda. AWS Lake Formation ci assicura un punto centrale di controllo scalabile per l'accesso ai dati tramite Amazon Redshift che non solo ha semplificato il processo, ma lo ha migliorato grazie al controllo granulare su come vengono utilizzati i nostri dati. Ora possiamo esplorare, accedere e analizzare i dati nel nostro data lake con i nostri strumenti preferiti e sfruttarli per business intelligence e data science. Questo flusso di lavoro ottimizzato consente ai nostri dirigenti di prendere le decisioni giuste tempestivamente e promuove l'innovazione attraverso il machine learning".

Alberto Miorin, Engineering Lead (Responsabile progettazione) – Zalando SE

Life360

Life360 è il primo servizio al mondo per la garanzia della serenità delle famiglie. L'app Life360 avvicina le famiglie grazie alle funzionalità smart progettate per proteggere e mettere in contatto le persone più care.

"Abbiamo scelto AWS Lake Formation per creare il nostro data lake al fine di supportare i dati di serie temporali basati sulla posizione e facilitare il caricamento dei dati. I progetti predefiniti ci hanno consentito di inserire i dati nel data lake senza che il nostro team di ingegneria dei dati fosse costretto a scrivere codice da zero, in modo che potesse invece dedicarsi a rendere operativa l'importazione, senza reinventare la ruota. Con AWS Lake Formation siamo stati in grado di sbloccare rapidamente i dati disponibili in Amazon S3 e renderli disponibili per l'analisi in un'ampia gamma di servizi di dati AWS. I dati rimangono al loro posto in Amazon S3, possiamo analizzarli in molti modi diversi e continuiamo a mantenerne il controllo".

Richard Chennault, Head of Cloud and Data Services (Responsabile di cloud e servizi di dati) – Life360, Inc.

Change Healthcare

Change Healthcare è un'azienda indipendente per le tecnologie nel settore sanitario leader nel mercato che fornisce soluzioni basate sui dati e sulle analisi per un totale di circa 2.100 connessioni con enti governativi e commerciali, 5.500 ospedali, 900.000 medici e 33.000 farmacie.

"Gestiamo i dati di milioni di transazioni ogni giorno, sempre in conformità con le normative del settore sanitario, incluso l'HIPAA. Siamo molto entusiasti di lanciare AWS Lake Formation, che offre un punto centrale di controllo per caricare, pulire, proteggere e catalogare facilmente i dati di migliaia di clienti nel nostro data lake basato su AWS, riducendo notevolmente il nostro carico operativo. I controlli di accesso ai dati di Lake Formation ci aiuteranno a definire le nostre policy e ad applicarle a tutti i servizi di analisi e machine learning che usiamo, con registri di controllo per attestarne la conformità".

Aaron Symanski, CTO – Change Healthcare 

Fender Digital

Fender Digital fa parte di Fender, il celebre marchio di chitarre, e crea appositi app, siti Web, piattaforme e strumenti per chitarre, amplificatori e impianti audio prodotti da Fender.

"I nostri dispositivi e le nostre applicazioni digitali generano una grande quantità di dati sugli utenti e sull'utilizzo. Puntiamo a creare un data lake in AWS che funzioni insieme al nostro data warehouse basato su Amazon Redshift. Non vedo l'ora che il nostro team cominci a utilizzare AWS Lake Formation. Lake Formation ci aiuterà a caricare, trasformare e catalogare i dati e a renderli disponibili in tutta sicurezza all’interno della nostra organizzazione, su un'ampia varietà di servizi AWS. Con una soluzione pronta per l'uso aziendale come Lake Formation potremo dedicare più tempo a ricavare valore dai dati piuttosto che svolgere le onerose attività di configurazione e gestione manuale del nostro data lake".

Joshua Couch, VP Engineering (Vicepresidente progettazione) – Fender Digital

Cloudreach

Sfruttando la potenza della piattaforma software di migrazione e gestione Cloudamize, Cloudreach offre semplificazione e affidabilità assoluta all'assunzione di decisioni guidata dai dati.

"AWS Lake Formation semplifica il data lake e crea un punto di accelerazione per la strategia dati aziendale. AWS Lake Formation centralizza la sicurezza e la governance dei servizi, ottimizzando la gestione e riducendo i costi di esercizio operativi. Altre iniziative legate ai dati, come il machine learning, accelerano il processo di integrazione dei dati all'interno dell'azienda e iniziano a generare un maggiore valore aziendale".

Kevin Davis, CTO AWS Practice (CTO pratiche AWS) – Cloudreach

Amgen

Amgen è la più grande azienda indipendente di biotecnologia al mondo.

"Ad Amgen utilizziamo intensamente Amazon Redshift e i cluster Amazon EMR da più di tre anni. L'impostazione dei controlli di sicurezza e di accesso per ogni account, servizio, utente e set di dati AWS al livello di dettaglio richiesto potrebbe essere impegnativo. AWS Lake Formation semplifica il processo offrendo un punto centrale di controllo mentre ci consente di gestire più dettagliatamente chi utilizza i nostri dati e come lo fa. AWS Lake Formation ci consente di gestire le autorizzazioni sugli oggetti Amazon S3 come gestiremmo le autorizzazioni sui dati in un database. I nostri utenti saranno così in grado di trovare, accedere e analizzare i dati di cui hanno bisogno con gli strumenti che preferiscono. Questo nuovo flusso di lavoro può aumentare la produttività di tutti durante l'utilizzo dei dati di Amgen".

Kerby Johnson, Enterprise Data Lake Product Owner (Proprietario del prodotto data lake aziendale) – Amgen

Alcon

Alcon è un leader di innovazione e sviluppo per i prodotti per la vista e per gli occhi.

"Come molte altre aziende, abbiamo avviato la nostra iniziativa di data lake per non dover più gestire silos di dati inaccessibili. Con AWS Lake Formation, possiamo aggiungere rapidamente l'accesso ai bucket Amazon S3 esistenti e determinare i loro contenuti e come possiamo utilizzarli. I dati rimangono al loro posto in S3, ma ne abbiamo il pieno controllo per altri impieghi".

Srinivas Ravilisetty, IT Analytics Lead (Responsabile analisi dei dati IT) – Alcon

Quantiphi

Quantiphi è una società che offre servizi e software di Intelligenza Artificiale e Big Data, guidata dal desiderio di risolvere problemi aziendali complessi. Quantiphi è specializzata nella creazione di data lake e soluzioni di IA per consentire ai clienti di fornire valore quantificabile.

"AWS Lake Formation ci consente di fornire un data lake sicuro con accesso ai dati pertinenti in pochi giorni. Oggi abbiamo la possibilità di fornire quanto di meglio è disponibile per i nostri clienti: sicurezza completa e accesso semplificato ai dati pertinenti per consentire ai loro utenti di prendere decisioni facilmente. I nostri clienti possono focalizzarsi sul prendere decisioni aziendali più informate e basate sull'analisi tramite l'accesso a un'origine dati potente e centralizzata".

Arnav Gupta, AWS Practice Lead (Responsabile pratiche AWS) – Quantiphi

Curvo Labs

Curvo è una società di Software-as-a-Service che si occupa esclusivamente della catena di distribuzione del sistema sanitario. Grazie alla notevole esperienza nel campo e alle procedure di sviluppo agili costruisce analisi dei dati, flussi di lavoro e automazione per velocizzare e semplificare la gestione delle spese nel settore sanitario.

"La normalizzazione dei dati è una fase cruciale per offrire risultati migliori ai pazienti perché introduce trasparenza nei dati sui prezzi di riferimento per i prodotti clinici e medici. Con le trasformazioni ML in AWS Lake Formation, ora elaboriamo set di dati in quattro ore, laddove prima serviva una settimana, con un grado di accuratezza migliorato fino a raggiungere quasi il 100%. Tali livelli di velocità e accuratezza permettono ai nostri clienti del settore sanitario di rispondere velocemente ai cambiamenti del mercato, offrendo cure più convenienti senza sacrificare i risultati per i pazienti. Garantiamo loro in un giorno ciò che i nostri concorrenti fanno in 4-6 settimane".

Nic Sagez, CTO – Curvo

Novità

data
  • data
1
Ulteriori informazioni sulle caratteristiche di AWS Lake Formation

Visita la pagina delle caratteristiche per maggiori informazioni su AWS Lake Formation.

Ulteriori informazioni 
Registrati per creare un account

Ottieni accesso istantaneo al piano gratuito di AWS. 

Registrati 
Inizia a lavorare nella console

Inizia subito a creare con AWS Lake Formation nella Console di gestione AWS.

Accedi