AWS Lake Formation

Crea un data lake sicuro in pochi giorni

AWS Lake Formation è un servizio che semplifica la creazione di un data lake sicuro in pochi giorni. Un data lake è un repository curato e sicuro, che memorizza tutti i tuoi dati, sia nel loro formato originale che preparati per l'analisi. Un data lake consente di suddividere i silos di dati e di combinare diversi tipi di analisi per ottenere informazioni dettagliate e guidare le migliori decisioni aziendali.

Tuttavia, la configurazione e la gestione di data lake comporta oggi una serie di attività lunghe, manuali e complicate. Questo lavoro include il caricamento dei dati da diverse origini, il monitoraggio dei flussi di dati, la configurazione delle partizioni, l'attivazione della crittografia e la gestione delle chiavi, la definizione dei processi di trasformazione e il monitoraggio del loro funzionamento, la riorganizzazione dei dati in formato colonnare, la configurazione delle impostazioni di controllo degli accessi, la deduplicazione dei dati ridondanti, la corrispondenza dei record collegati, la concessione dell'accesso ai set di dati e l’audit di accesso nel tempo.

Creare un data lake con Lake Formation è semplice quanto definire le origini dati e quali policy di accesso ai dati e di sicurezza vuoi applicare. Lake Formation ti consente di raccogliere e catalogare i dati dai database e dallo storage di oggetti, spostare i dati nel nuovo data lake Amazon S3, pulire e classificare i dati utilizzando algoritmi di machine learning e proteggere l'accesso ai tuoi dati sensibili. I tuoi utenti possono accedere a un catalogo centralizzato di dati che descrive i set di dati disponibili e il loro utilizzo appropriato. Gli utenti possono quindi sfruttare questi set di dati con la loro scelta di servizi di analisi e di machine learning, come Amazon Redshift, Amazon Athena e (in beta) Amazon EMR per Apache Spark. Lake Formation si affida alle funzionalità disponibili in AWS Glue.

AWS re:Invent 2018: Presentazione di AWS Lake Formation (2:44)

Vantaggi

Crea data lake velocemente

Con Lake Formation puoi spostare, archiviare, catalogare e pulire i dati più rapidamente. Basta semplicemente indirizzare Lake Formation verso le origini dati, dopodiché Lake Formation li analizza e li sposta nel nuovo data lake di Amazon S3. Lake Formation organizza i dati in S3 in base a termini di query utilizzati di frequente e in forma di blocchi dalle dimensioni adatte per aumentare l'efficienza. Lake Formation modifica anche i dati in formati come Apache Parquet e ORC per analisi più rapide. Inoltre, Lake Formation dispone di Machine Learning integrato per deduplicare e trovare record corrispondenti (due voci che si riferiscono alla stessa cosa), in modo da aumentare i dati rapidamente.

Semplifica la gestione della sicurezza

Puoi usare Lake Formation per definire centralmente sicurezza, governance e policy di audit in un unico luogo, invece di effettuare questi compiti per servizio, e quindi puoi applicare queste policy per i tuoi utenti nelle loro applicazioni di analisi. Le tue policy sono implementate costantemente, non è più necessario configurarle manualmente nei servizi di sicurezza (AWS Identity and Access Management e AWS Key Management Service), di storage (S3) e di analisi e Machine Learning (Redshift, Athena e, in beta, EMR per Apache Spark). In questo modo si riduce lo sforzo di configurare le policy nei servizi e vengono fornite applicazione e conformità coerenti.

Assicura l'accesso self-service ai dati

Con Lake Formation è possibile creare un catalogo dati che descrive i diversi set di dati disponibili e quali gruppi di utenti hanno accesso a ciascuno di essi. In questo modo, gli utenti sono più produttivi, perché trovano più facilmente il set di dati da analizzare. Fornendo un catalogo dati con applicazione della sicurezza coerente, Lake Formation semplifica l'uso del servizio di analisi preferito da parte dei tuoi analisti e data scientist.
Possono utilizzare EMR per Apache Spark (in beta), Redshift o Athena su diversi set di dati ora alloggiati in un singolo data lake. Gli utenti possono anche combinare questi servizi senza dover spostare i dati tra i silos di dati.

Come funziona

AWS Lake Formation, come funziona

Lake Formation aiuta a costruire, rendere sicuro e gestire il data lake. Innanzitutto, identifica i datastore esistenti in S3 o i database relazionali e NoSQL e sposta i dati nel data lake. Quindi trascina, cataloga e prepara i dati per l'analisi. Fornisci ai tuoi utenti un accesso self-service sicuro ai dati mediante il servizio di analisi da loro scelto. Anche altri servizi AWS e applicazioni di terze parti possono accedere ai dati attraverso i servizi mostrati. Lake Formation gestisce tutti i task nella casella arancione ed è integrato dai datastore e dai servizi mostrati nelle caselle blu.

Casi d'uso

Scopri di più su "Cos'è un data lake?" e i casi d'uso.

Clienti

Nu Skin

Nu Skin Enterprises è un'azienda globale di vendita diretta che distribuisce oltre 200 prodotti anti invecchiamento di qualità nelle categorie della cura personale e dei supplementi nutrizionali.

"Abbiamo dovuto affrontare la sfida di estendere la nostra capacità e di ridimensionare il throughput dei nostri sistemi analitici esistenti. I nostri dati erano distribuiti su diversi database e soluzioni SaaS non collegati, pertanto, era difficile analizzare i dati su larga scala e limitare nello stesso tempo l'accesso ai dati sensibili. Per superare questa sfida, abbiamo sviluppato una soluzione data lake su AWS. Questo ci ha permesso di aggregare i dati di diversi silos di dati in Amazon S3, dove abbiamo catalogato e messo al sicuro tutti i dati usando AWS Lake Formation. Senza AWS Lake Formation, sarebbe stato impossibile ottenere un livello di sicurezza facile da usare e scalabile per tutti i dati su Amazon S3. È stato facile impostare e applicare controlli di accesso dettagliati basati sui profili degli utenti."

Joe Sueper, VP Enterprise Architecture, Global Technology - Nu Skin Enterprises

Panasonic

Panasonic Avionics Corporation è il fornitore leader mondiale dei sistemi di intrattenimento e di comunicazione in volo.

"Volevamo creare una piattaforma dati con la capacità di gestire le impostazioni di sicurezza per tutte le diverse applicazioni nel nostro ambiente. Con AWS Lake Formation, possiamo ora definire le policy in una sola volta e implementarle allo stesso modo, ovunque, per i diversi servizi che utilizziamo, compresi AWS Glue e Amazon Athena. Il livello di controllo avanzato ci assicura l'accesso sicuro ai dati e ai metadati per colonne e tabelle, non solo agli oggetti in massa, il che è una componente importante del nostro standard di sicurezza e di governance dei dati."

Anand Desikan, Direttore Cloud and Data Services - Panasonic Avionics

Accenture

Accenture è un'azienda leader globale nel settore dei servizi professionali, che offre un'ampia gamma di servizi e soluzioni in termini di strategia, consulenza, tecnologia digitale e operazioni.

"Mi concentro sul fornire assistenza ai clienti nel loro viaggio dei dati sul cloud. In particolare, abbiamo visto che le aziende devono fare i conti con una mancanza di dati affidabili quando devono eseguire analisi sui dati provenienti da più origini. La disinfezione dei dati è un passaggio critico nell'analisi dei dati e può avere un forte impatto sui risultati aziendali e sulle decisioni prese. Le nuove funzionalità in AWS Lake Formation hanno garantito sensibili benefici nell'affrontare la difficoltà della veridicità dei dati e nell'assicurare l'accesso al data lake. È risultato eccezionalmente utile impiegare le tecniche di machine learning per la preparazione dei dati per individuare record corrispondenti, per la disinfezione e per la deduplicazione dei dati da più origini dati. Tutto ciò consentirà di ridurre i tempi, la fatica e il costo e di migliorare al contempo la qualità e l'accuratezza dei dati nei data lake di un cliente."

Namrata Maheshwary, Senior Architect del Data Business Group - Accenture

Zalando

Zalando è la principale piattaforma online europea per la moda e lo style.

"Come azienda tecnologica più alla moda dell'intera Europa, ci impegniamo per individuare soluzioni digitali per ogni aspetto del cammino della moda. AWS Lake Formation ci assicura un punto centrale di controllo scalabile per l'accesso ai dati tramite Amazon Redshift che non solo ha semplificato il processo, ma lo ha migliorato grazie al controllo granulare su come vengono utilizzati i nostri dati. Ora possiamo esplorare, accedere e analizzare i dati nel nostro data lake con i nostri strumenti preferiti e sfruttarli per business intelligence e data science. Questo flusso di lavoro ottimizzato consente ai nostri dirigenti di prendere le decisioni giuste per tempo e promuove l'innovazione attraverso il machine learning."

Alberto Miorin, Engineering Lead - Zalando SE

Life360

Life360 è il primo servizio al mondo per la garanzia della serenità delle famiglie. L'app Life360 avvicina le famiglie grazie alle funzionalità smart progettate per proteggere e mettere in contatto le persone più care.

“Volevamo utilizzare AWS Lake Formation per creare il nostro data lake e supportare i dati location-based time-series oltre a facilitare il caricamento dei dati. I progetti predefiniti ci hanno consentito di introdurre i dati nel data lake senza che il nostro team di data engineering fosse costretto a scrivere codice da zero ma potesse invece dedicarsi a rendere operativa l'acquisizione, senza reinventare la ruota. Con AWS Lake Formation siamo stati in grado di sbloccare rapidamente i dati disponibili in Amazon S3 e di renderli utilizzabili per l'analisi su una vasta scelta di servizi dati AWS. I dati restano in posizione in Amazon S3, possiamo analizzarli in molti modi diversi e continuiamo a mantenerne il controllo."

Richard Chennault, Responsabile di Cloud and Data Services - Life360, Inc.

Change Healthcare

Change Healthcare è un'azienda indipendente per le tecnologie nel settore sanitario leader nel mercato che fornisce soluzioni basate sui dati e sulle analisi per un totale di circa 2.100 connessioni con enti governativi e commerciali, 5.500 ospedali, 900.000 medici e 33.000 farmacie.

"Gestiamo i dati di milioni di transazioni ogni giorno, sempre in conformità con le normative del settore sanitario, incluso l'HIPAA. Siamo ansiosi di lanciare AWS Lake Formation, che offre un punto di controllo centrale per caricare, pulire, proteggere e catalogare facilmente i dati di migliaia di clienti nel nostro data lake basato su AWS, riducendo sensibilmente il nostro carico operativo. I controlli di accesso ai dati di Lake Formation ci aiuteranno a definire le nostre policy e ad applicarle su tutti i servizi di analisi e machine learning che usiamo, con log di audit per mostrare conformità”.

Aaron Symanski, CTO - Change Healthcare 

Fender Digital

Fender Digital fa parte di Fender, il celebre marchio di chitarre, e crea app, siti Web, piattaforme e strumenti apposta per le chitarre, gli amplificatori e gli impianti audio prodotti da Fender.

"I nostri dispositivi e le nostre applicazioni digitali generano una grande quantità di dati utente e di utilizzo. Puntiamo a creare un data lake in AWS che funzioni insieme al nostro data warehouse basato su Amazon Redshift. Non vedo l’ora che il nostro team cominci a utilizzare AWS Lake Formation. Lake Formation ci aiuterà a caricare, trasformare e catalogare i dati e a renderli disponibili in tutta sicurezza all’interno della nostra organizzazione, su un'ampia varietà di servizi AWS. Con una soluzione pronta per l'uso aziendale come Lake Formation potremo dedicare più tempo ai valori da ricavare dai dati invece che fare il lavoro pesante configurando e gestendo manualmente il nostro data lake."

Joshua Couch, Vice presidente progettazione - Fender Digital

Cloudreach

Sovralimentato dalla piattaforma software di migrazione e gestione, Cloudamize, Cloudreach offre semplificazione e affidabilità assoluta all'assunzione di decisioni fondata sui dati.

“AWS Lake Formation sta democratizzando il data lake e creando un punto di accelerazione per la strategia dati aziendale. AWS Lake Formation centralizza la sicurezza e la governance dei servizi, ottimizzando la gestione e riducendo i costi di esercizio operativi. L'accelerazione del processo di deisolamento dei dati su tutta l'impresa, e le altre iniziative legate ai dati come il machine learning, cominciano a promuovere un maggiore valore commerciale."

Kevin Davis, CTO AWS Practice - Cloudreach

Amgen

Amgen è la più grande azienda indipendente di biotecnologia al mondo.

"Ad Amgen utilizziamo intensamente Amazon Redshift, Amazon EMR e i cluster Databricks da più di tre anni. L'impostazione dei controlli di sicurezza e di accesso per ogni account, servizio, utente e set di dati AWS al livello di dettaglio necessario potrebbe essere impegnativo. AWS Lake Formation ottimizza il processo con un punto centrale di controllo mentre ci consente al contempo di gestire più dettagliatamente chi utilizza i nostri dati e come lo fa. AWS Lake Formation ci consente di gestire le autorizzazioni sugli oggetti Amazon S3 come gestiremmo le autorizzazioni sui dati in un database. I nostri utenti saranno così in grado di trovare, accedere e analizzare i dati di cui hanno bisogno con gli strumenti che preferiscono. Questo nuovo flusso di lavoro può rendere tutti più produttivi durante l'utilizzo dei dati di Amgen.”

Kerby Johnson, Enterprise Data Lake Product Owner - Amgen

Alcon

Alcon è un leader di innovazione e sviluppo per i prodotti per la vista e per gli occhi.

“Come molte altre aziende, abbiamo avviato la nostra iniziativa di data lake per non dover più gestire dati isolati inaccessibili. Con AWS Lake Formation, possiamo aggiungere rapidamente l'accesso ai bucket Amazon S3 esistenti e definire cosa contengono e come possiamo utilizzare tale contenuto. I dati restano in posizione in S3, ma ne abbiamo il pieno controllo per altri impieghi."

Srinivas Ravilisetty, IT Analytics Lead - Alcon

Quantiphi

Quantiphi è un’azienda che offre servizi e software di AI e Big Data, guidata dal desiderio di risolvere i problemi aziendali più complessi. Quantiphi è specializzata nella creazione di data lake e soluzioni AI per consentire ai clienti di fornire valore quantificabile.

“AWS Lake Formation ci consente di fornire un data lake sicuro con accesso ai dati pertinenti in pochi giorni. Oggi abbiamo la possibilità di fornire quanto di meglio è disponibile per i nostri clienti: sicurezza completa, oltre all'accesso semplificato ai dati pertinenti per consentire ai loro utenti di prendere decisioni facilmente. I nostri clienti possono focalizzarsi sul prendere decisioni commerciali più informate e fondate sull'analisi tramite l'accesso a un'origine dati potente e centralizzata.”

Arnav Gupta, AWS Practice Lead - Quantiphi

Curvo

Curvo è una compagnia di Software-as-a-Service che si occupa esclusivamente della catena di distribuzione del sistema sanitario. Grazie alla notevole esperienza nel settore e le procedure di sviluppo agili costruisce analisi, flusso di lavoro e automazione per rendere la gestione delle spese più veloce e semplice.

"La normalizzazione dei dati è una fase cruciale per offrire risultati migliori ai pazienti perché introduce trasparenza nei dati di riferimento dei prezzi per i prodotti clinici e medici. Con le trasformazioni ML in AWS Lake Formation, ora elaboriamo i dati impostati in quattro ore, laddove prima serviva una settimana, con un grado di accuratezza migliorato del 100%. Queste velocità e accuratezza permettono ai nostri clienti del settore sanitario di rispondere velocemente alle modifiche del mercato, offrendo cure più abbordabili senza sacrificare i risultati dei pazienti. Garantiamo loro in un giorno ciò che i nostri concorrenti fanno in 4-6 settimane."

Nic Sagez, CTO - Curvo

AWS Lake Formation
Ulteriori informazioni sulle caratteristiche di AWS Lake Formation

Visita la pagina delle caratteristiche per maggiori informazioni su AWS Lake Formation.

Ulteriori informazioni 
Registrati per creare un account AWS
Registrati per creare un account

Ottieni accesso istantaneo al piano gratuito di AWS.

Registrati 
Inizia subito nella console
Inizia subito nella console

Inizia subito a creare con AWS Lake Formation nella Console di gestione AWS.

Accedi