AWS Lake Formation

Crea un data lake sicuro in pochi giorni

AWS Lake Formation è un servizio che semplifica la creazione di un data lake sicuro in pochi giorni. Un data lake è un repository curato e sicuro, che memorizza tutti i tuoi dati, sia nel loro formato originale che preparati per l'analisi. Un data lake consente di suddividere i silos di dati e di combinare diversi tipi di analisi per ottenere informazioni dettagliate e guidare le migliori decisioni aziendali.

Tuttavia, la configurazione e la gestione di data lake comporta oggi una serie di attività lunghe, manuali e complicate. Questo lavoro include il caricamento dei dati da diverse origini, il monitoraggio dei flussi di dati, la configurazione delle partizioni, l'attivazione della crittografia e la gestione delle chiavi, la definizione dei processi di trasformazione e il monitoraggio del loro funzionamento, la riorganizzazione dei dati in formato colonnare, la configurazione delle impostazioni di controllo degli accessi, la deduplicazione dei dati ridondanti, la corrispondenza dei record collegati, la concessione dell'accesso ai set di dati e l’audit di accesso nel tempo.

Creare un data lake con Lake Formation è semplice quanto definire le origini dati e quali policy di accesso ai dati e di sicurezza vuoi applicare. Lake Formation ti consente di raccogliere e catalogare i dati dai database e dallo storage di oggetti, spostare i dati nel nuovo data lake Amazon S3, pulire e classificare i dati utilizzando algoritmi di machine learning e proteggere l'accesso ai tuoi dati sensibili. I tuoi utenti possono accedere a un catalogo centralizzato di dati che descrive i set di dati disponibili e il loro utilizzo appropriato. Gli utenti possono quindi sfruttare questi set di dati con la loro scelta di servizi di analisi e di machine learning, come Amazon Redshift, Amazon Athena e (in beta) Amazon EMR per Apache Spark. Lake Formation si affida alle funzionalità disponibili in AWS Glue.

AWS re:Invent 2018: Presentazione di AWS Lake Formation

Vantaggi

Crea data lake velocemente

Con Lake Formation puoi spostare, archiviare, catalogare e pulire i dati più rapidamente. Basta semplicemente indirizzare Lake Formation verso le origini dati, dopodiché Lake Formation li analizza e li sposta nel nuovo data lake di Amazon S3. Lake Formation organizza i dati in S3 in base a termini di query utilizzati di frequente e in forma di blocchi dalle dimensioni adatte per aumentare l'efficienza. Lake Formation modifica anche i dati in formati come Apache Parquet e ORC per analisi più rapide. Inoltre, Lake Formation dispone di Machine Learning integrato per deduplicare e trovare record corrispondenti (due voci che si riferiscono alla stessa cosa), in modo da aumentare i dati rapidamente.

Semplifica la gestione della sicurezza

Puoi usare Lake Formation per definire centralmente sicurezza, governance e policy di audit in un unico luogo, invece di effettuare questi compiti per servizio, e quindi puoi applicare queste policy per i tuoi utenti nelle loro applicazioni di analisi. Le tue policy sono implementate costantemente, non è più necessario configurarle manualmente nei servizi di sicurezza (AWS Identity and Access Management e AWS Key Management Service), di storage (S3) e di analisi e Machine Learning (Redshift, Athena e, in beta, EMR per Apache Spark). In questo modo si riduce lo sforzo di configurare le policy nei servizi e vengono fornite applicazione e conformità coerenti.

Assicura l'accesso self-service ai dati

Con Lake Formation è possibile creare un catalogo dati che descrive i diversi set di dati disponibili e quali gruppi di utenti hanno accesso a ciascuno di essi. In questo modo, gli utenti sono più produttivi, perché trovano più facilmente il set di dati da analizzare. Fornendo un catalogo dati con applicazione della sicurezza coerente, Lake Formation semplifica l'uso del servizio di analisi preferito da parte dei tuoi analisti e data scientist.
Possono utilizzare EMR per Apache Spark (in beta), Redshift o Athena su diversi set di dati ora alloggiati in un singolo data lake. Gli utenti possono anche combinare questi servizi senza dover spostare i dati tra i silos di dati.

Come funziona

AWS Lake Formation, come funziona

Lake Formation aiuta a costruire, rendere sicuro e gestire il data lake. Innanzitutto, identifica i datastore esistenti in S3 o i database relazionali e NoSQL e sposta i dati nel data lake. Quindi trascina, cataloga e prepara i dati per l'analisi. Fornisci ai tuoi utenti un accesso self-service sicuro ai dati mediante il servizio di analisi da loro scelto. Anche altri servizi AWS e applicazioni di terze parti possono accedere ai dati attraverso i servizi mostrati. Lake Formation gestisce tutti i task nella casella arancione ed è integrato dai datastore e dai servizi mostrati nelle caselle blu.

Casi d'uso

Scopri di più su "Cos'è un data lake?" e i casi d'uso.

Clienti

panasonic_logo

Panasonic Avionics Corporation è il fornitore leader mondiale dei sistemi di intrattenimento e di comunicazione in volo.

"Volevamo creare una piattaforma dati con la capacità di gestire le impostazioni di sicurezza per tutte le diverse applicazioni nel nostro ambiente. Con AWS Lake Formation, possiamo ora definire le policy una volta e implementarle allo stesso modo, ovunque, per i diversi servizi che utilizziamo, compresi AWS Glue e Amazon Athena”, ha dichiarato Anand Desikan, Direttore di Cloud and Data Services presso Panasonic Avionics. "Il livello di controllo avanzato ci assicura l'accesso sicuro ai dati e ai metadati per colonne e tabelle, non solo agli oggetti in massa, il che è una componente importante del nostro standard di sicurezza e di governance dei dati."

Accenture_Logo_Black_Purple_RGB

Accenture è un'azienda leader globale nel settore dei servizi professionali, che offre un'ampia gamma di servizi e soluzioni in termini di strategia, consulenza, tecnologia digitale e operazioni.

"Mi concentro sul fornire assistenza ai clienti nel loro viaggio dei dati sul cloud. In particolare, abbiamo visto che le aziende devono fare i conti con una mancanza di dati affidabili quando devono eseguire analisi sui dati provenienti da più origini", ha affermato Namrata Maheshwary, Senior Architect per il Data Business Group, Accenture. "La disinfezione dei dati è un passaggio critico nell'analisi dei dati e può avere un forte impatto sui risultati aziendali e sulle decisioni prese. Le nuove funzionalità in AWS Lake Formation hanno garantito sensibili benefici nell'affrontare la difficoltà della veridicità dei dati e nell'assicurare l'accesso al data lake. È risultato eccezionalmente utile impiegare le tecniche di machine learning per la preparazione dei dati per individuare record corrispondenti, per la disinfezione e per la deduplicazione dei dati da più origini dati. Tutto ciò consentirà di ridurre i tempi, la fatica e il costo e di migliorare al contempo la qualità e l'accuratezza dei dati nei data lake di un cliente."

Zalando

Zalando è la principale piattaforma online europea per la moda e lo style.

"Come azienda tecnologica più alla moda dell'intera Europa, ci impegniamo per individuare soluzioni digitali per ogni aspetto del cammino della moda", ha dichiarato Alberto Miorin, Engineering Lead, Zalando SE. “AWS Lake Formation ci assicura un punto centrale di controllo scalabile per l'accesso ai dati tramite Amazon Redshift che non solo ha semplificato il processo, ma lo ha migliorato grazie al controllo granulare su come vengono utilizzati i nostri dati. Ora possiamo esplorare, accedere e analizzare i dati nel nostro data lake con i nostri strumenti preferiti e sfruttarli per business intelligence e data science. Questo flusso di lavoro ottimizzato consente ai nostri dirigenti di prendere le decisioni giuste per tempo e promuove l'innovazione attraverso il machine learning."

Logo_for_Life360_App

Life360 è il primo servizio al mondo per la garanzia della serenità delle famiglie. L'app Life360 avvicina le famiglie grazie alle funzionalità smart progettate per proteggere e mettere in contatto le persone più care.

“Volevamo utilizzare AWS Lake Formation per creare il nostro data lake e supportare i dati location-based time-series oltre a facilitare il caricamento dei dati. I progetti predefiniti ci hanno consentito di introdurre i dati nel data lake senza che il nostro team di data engineering fosse costretto a scrivere codice da zero ma potesse invece dedicarsi a rendere operativa l'acquisizione, senza reinventare la ruota", ha dichiarato Richard Chennault, Responsabile di Cloud and Data Services, Life360, Inc. “Con AWS Lake Formation siamo stati in grado di sbloccare rapidamente i dati disponibili in Amazon S3 e di renderli utilizzabili per l'analisi su una vasta scelta di servizi dati AWS. I dati restano in posizione in Amazon S3, possiamo analizzarli in molti modi diversi e continuiamo a mantenerne il controllo."

change-healthcare-red-blue-logo

Change Healthcare è un'azienda indipendente per le tecnologie nel settore sanitario leader nel mercato che fornisce soluzioni basate sui dati e sulle analisi per un totale di circa 2.100 connessioni con enti governativi e commerciali, 5.500 ospedali, 900.000 medici e 33.000 farmacie.

"Gestiamo i dati di milioni di transazioni ogni giorno, sempre in conformità con le normative del settore sanitario, incluso l'HIPAA", ha dichiarato Aaron Symanski, CTO di Change Healthcare. "Siamo ansiosi di lanciare AWS Lake Formation, che offre un punto di controllo centrale per caricare, pulire, proteggere e catalogare facilmente i dati di migliaia di clienti nel nostro data lake basato su AWS, riducendo sensibilmente il nostro carico operativo. I controlli di accesso ai dati di Lake Formation ci aiuteranno a definire le nostre policy e ad applicarle su tutti i servizi di analisi e machine learning che usiamo, con log di audit per mostrare conformità. Inoltre, Lake Formation sarà da subito in conformità con l'HIPAA, soddisfacendo i nostri requisiti di sicurezza e offrendo una soluzione efficace per creare e gestire il nostro data lake."

Fender_digital

Fender Digital fa parte di Fender, il celebre marchio di chitarre, e crea app, siti Web, piattaforme e strumenti apposta per le chitarre, gli amplificatori e gli impianti audio prodotti da Fender.

"I nostri dispositivi e le nostre applicazioni digitali generano una grande quantità di dati utente e di utilizzo. Puntiamo a creare un data lake in AWS che funzioni insieme al nostro data warehouse basato su Amazon Redshift" afferma Joshua Couch, vicepresidente progettazione presso Fender Digital. "Non vedo l’ora che il nostro team cominci a utilizzare AWS Lake Formation. Lake Formation ci aiuterà a caricare, trasformare e catalogare i dati e a renderli disponibili in tutta sicurezza all’interno della nostra organizzazione, su un'ampia varietà di servizi AWS. Con una soluzione pronta per l'uso aziendale come Lake Formation potremo dedicare più tempo ai valori da ricavare dai dati invece che fare il lavoro pesante configurando e gestendo manualmente il nostro data lake."

cloudreach-logo

Sovralimentato dalla piattaforma software di migrazione e gestione, Cloudamize, Cloudreach offre semplificazione e affidabilità assoluta all'assunzione di decisioni fondata sui dati.

“AWS Lake Formation sta democratizzando il data lake e creando un punto di accelerazione per la strategia dati aziendale”, ha dichiarato Kevin Davis, CTO AWS Practice, Cloudreach. “AWS Lake Formation centralizza la sicurezza e la governance dei servizi, ottimizzando la gestione e riducendo i costi di esercizio operativi. L'accelerazione del processo di deisolamento dei dati su tutta l'impresa, e le altre iniziative legate ai dati come il machine learning, cominciano a promuovere un maggiore valore commerciale."

Amgen-logo

Amgen è la più grande azienda indipendente di biotecnologia al mondo.

“Ad Amgen utilizziamo intensamente Amazon Redshift, Amazon EMR e i cluster Databricks da più di tre anni. L'impostazione dei controlli di sicurezza e di accesso per ogni account, servizio, utente e set di dati AWS al livello di dettaglio necessario potrebbe essere impegnativo", ha dichiarato Kerby Johnson, Enterprise Data Lake Product Owner, Amgen. “AWS Lake Formation ottimizza il processo con un punto centrale di controllo mentre ci consente al contempo di gestire più dettagliatamente chi utilizza i nostri dati e come lo fa. AWS Lake Formation ci consente di gestire le autorizzazioni sugli oggetti Amazon S3 come gestiremmo le autorizzazioni sui dati in un database. I nostri utenti saranno così in grado di trovare, accedere e analizzare i dati di cui hanno bisogno con gli strumenti che preferiscono. Questo nuovo flusso di lavoro può rendere tutti più produttivi durante l'utilizzo dei dati di Amgen.”

Alcon-logo

Alcon è un leader di innovazione e sviluppo per i prodotti per la vista e per gli occhi.

“Come molte altre aziende, abbiamo avviato la nostra iniziativa di data lake per non dover più gestire dati isolati inaccessibili”, ha raccontato Srinivas Ravilisetty, IT Analytics Lead, Alcon. ”Con AWS Lake Formation, possiamo aggiungere rapidamente l'accesso ai bucket Amazon S3 esistenti e definire cosa contengono e come possiamo utilizzare tale contenuto. I dati restano in posizione in S3, ma ne abbiamo il pieno controllo per altri impieghi."

quantiphi-logo

Quantiphi è un’azienda che offre servizi e software di AI e Big Data, guidata dal desiderio di risolvere i problemi aziendali più complessi. Quantiphi è specializzata nella creazione di data lake e soluzioni AI per consentire ai clienti di fornire valore quantificabile.

“AWS Lake Formation ci consente di fornire un data lake sicuro con accesso ai dati pertinenti in pochi giorni", ha spiegato Arnav Gupta, AWS Practice Lead, Quantiphi. “Oggi abbiamo la possibilità di fornire quanto di meglio è disponibile per i nostri clienti: sicurezza completa, oltre all'accesso semplificato ai dati pertinenti per consentire ai loro utenti di prendere decisioni facilmente. I nostri clienti possono focalizzarsi sul prendere decisioni commerciali più informate e fondate sull'analisi tramite l'accesso a un'origine dati potente e centralizzata.”

Product-Page_Standard-Icons_01_Product-Features_SqInk
Ulteriori informazioni sulle caratteristiche di AWS Lake Formation
Ulteriori informazioni 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Registrati per creare un account
Registrati 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Inizia subito nella console
Accedi