Architettura moderna dei dati su AWS
Architettura moderna dei dati: come funziona
Un'architettura moderna dei dati riconosce l'idea che un approccio unico all'analisi dei dati, alla fine, porta a dei compromessi. Non si tratta solo di integrare un data lake con un data warehouse, ma piuttosto di integrare un data lake, un data warehouse e degli archivi dedicati, assicurando una governance unificata e semplicità nel trasferimento dati. Con una moderna architettura di dati su AWS, i clienti possono costruire rapidamente laghi di dati scalabili, utilizzare un'ampia e profonda collezione di servizi di dati costruiti appositamente, garantire la conformità attraverso un accesso unificato ai dati, la sicurezza e la governance, scalare i loro sistemi a basso costo senza compromettere le prestazioni, e condividere facilmente i dati attraverso i confini organizzativi, permettendo loro di prendere decisioni con velocità e agilità su scala.
Perché hai bisogno di un'architettura moderna dei dati
I volumi dei dati stanno aumentando a ritmi senza precedenti, passando dai terabyte ai petabyte e a volte agli exabyte. Gli approcci tradizionali dell’analisi dei dati on-premise non sono in grado di gestire questi volumi di dati perché non assicurano una scalabilità ottimale e sono costosi. Molte aziende trasferiscono i dati da silos diversi e li raggruppano in una sola posizione, spesso definita data lake, per eseguire analisi dei dati e ML direttamente su quei dati. In altri casi, queste stesse aziende archiviano altri dati in Datastore dedicati per effettuare analisi e ottenere velocemente delle informazioni dettagliate da dati strutturati e non strutturati. Questo trasferimento dati può avvenire verso l'esterno, verso l'interno o attorno al perimetro o in condivisione perché i dati hanno un peso.
-
Verso l'esterno
-
Verso l’interno
-
Attorno al perimetro
-
In condivisione
-
Peso dei dati
-
Verso l'esterno
-
Trasferimento dati verso l’esterno
I clienti archiviano i dati in un data lake e poi trasferiscono una parte di quei dati in un Datastore dedicato per eseguire ulteriori machine learning o analisi dei dati.
Esempio: i dati clickstream dalle applicazioni Web possono essere raccolti direttamente in un data lake e una parte di quei dati può essere trasferita in un data warehouse per il report giornaliero. Questo concetto è considerato un trasferimento verso l’esterno.
-
Verso l’interno
-
Trasferimento dati verso l’interno
I clienti archiviano i dati in Datastore dedicati come un data warehouse o un database e li trasferiscono in un data lake per eseguire delle analisi su quei dati.
Esempio: i risultati di una query per la vendita di prodotti in una Regione specifica vengono copiati dal data warehouse nel data lake per eseguire algoritmi di suggerimento prodotti rispetto a un set di dati più ampio, utilizzando il ML.
-
Attorno al perimetro
-
Trasferimento dati attorno al perimetro
Integra perfettamente data lake, data warehouse e Datastore dedicati.
Esempio: i dati del catalogo prodotti archiviati nel database potrebbero essere copiati nel servizio di ricerca per semplificare la ricerca nel catalogo prodotti, evitando di eseguire query di ricerca dal database.
-
In condivisione
-
Trasferimento dati attraverso condivisione
I clienti utilizzano una moderna architettura dei dati per facilitare la governance e la condivisione dei dati attraverso i confini logici o fisici della governance per creare domini di dati allineati alle linee di business
-
Peso dei dati
-
Peso dei dati
Se i dati nei data lake e negli archivi dedicati continuano a crescere, diventa più difficile spostare questi dati a causa del loro peso. È ugualmente importante assicurare che i dati possano essere facilmente trasferiti dove è necessario, con i giusti comandi, per consentire analisi e ottenere informazioni dettagliate.
I pilastri di un'architettura moderna dei dati
Le organizzazioni trasferiscono i dati da diversi silos e li aggregano in una sola posizione per eseguire analisi dei dati e machine learning su quei dati. Per ricavarne il valore massimo, è necessario sfruttare un'architettura moderna dei dati che permetta loro di spostare facilmente i dati tra data lake e archivi di dati dedicati. Questo metodo di progettazione moderno richiede:
-
Data lake scalabili
Decine di migliaia di clienti eseguono i loro data lake su AWS.
La configurazione e la gestione di data lake comporta oggi una serie di attività manuali lunghe e complicate. AWS Lake Formation automatizza queste attività per consentire la costruzione e la sicurezza dei data lake, in pochi giorni anziché in mesi. Per l’archiviazione di data lake, Amazon S3 è il posto migliore per costruire un data lake perché ha un’ineguagliabile durabilità pari al 99,999999999% e disponibilità pari al 99,99%, le migliori capacità di sicurezza, conformità e verifica con log di verifica a livello di oggetto e controllo degli accessi, la maggiore flessibilità con cinque livelli di archiviazione e il costo più basso in assoluto con prezzi a partire da meno di 1 USD per TB al mese.
-
Servizi di analisi dei dati dedicati
AWS ti offre il portafoglio più vasto e completo di servizi di analisi dei dati dedicati e ottimizzati per i tuoi casi d’uso specifici.
Questi servizi sono stati progettati come migliori in assoluto, questo significa che non occorre scendere a compromessi sulle prestazioni, la scalabilità o i costi durante il loro utilizzo. Amazon Redshift, ad esempio, è 3 volte più veloce e almeno il 50% meno costoso rispetto ad altri data warehouse su cloud. Spark in Amazon EMR consente di eseguire analisi su scala Petabyte a meno della metà del costo delle soluzioni On-Premise tradizionali e con una velocità 1,7 volte superiore rispetto a quella della versione standard di Apache Spark 3.0.
-
Accesso ai dati unificati
Poiché i dati nei tuoi data lake e Datastore dedicati continuano a crescere, spesso devi essere in grado di trasferire facilmente una parte di dati da un Datastore a un altro.
AWS semplifica la combinazione, il trasferimento e la replica dei dati su più Datastore e data lake. Ad esempio, AWS Glue offre funzionalità di integrazione dati complete che facilitano la scoperta, la preparazione e la combinazione di dati per l’analisi, il machine learning e lo sviluppo di applicazioni, mentre Amazon Redshift è in grado di effettuare query sui dati nel data lake S3. Con nessun altro provider di analisi dei dati il trasferimento di dati su scala dove ne hai più bisogno è così facile.
-
Governance unificata
Uno degli elementi più importanti di una moderna architettura di analisi dei dati è la capacità per i clienti di autorizzare, gestire e verificare l’accesso ai dati.
Può essere difficoltoso perché gestire la sicurezza, il controllo degli accessi e i percorsi di verifica in tutti i Datastore all’interno dell’organizzazione è un’operazione lunga, complessa e soggetta a errori. AWS ti offre la capacità di governance per gestire l'accesso a tutti i tuoi dati attraverso il tuo data lake e archivi dati appositamente creati da un'unica posizione. AWS Lake Formation ti consente di definire e gestire centralmente le policy di sicurezza, governance e audit, ottenendo un controllo dell'accesso uniforme per la condivisione dei dati a livello aziendale.
-
Performante e a costi contenuti
AWS si impegna a fornire le prestazioni migliori al costo più basso per tutti i servizi di analisi dei dati e sceglie l’innovazione continua per migliorare il rapporto prezzo/prestazioni dei suoi servizi.
Oltre a un rapporto prezzo/prestazioni leader di settore per i servizi di analisi, S3 intelligent tiering consente ai clienti di risparmiare fino al 70% sui costi di archiviazione per i dati archiviati nel data lake e Amazon EC2 fornisce l’accesso a una scelta leader di settore per più di 200 tipi di istanza, fino a 100 Gbps di larghezza di banda di rete e la capacità di scegliere tra istanze on demand, riservate e Spot.
Più clienti che sfruttano architetture moderne dei dati su AWS piuttosto che altrove
-
BMW Group
-
Leggi il caso di studioPer accelerare l’innovazione e democratizzare l’utilizzo dei dati su vasta scala, BMW Group ha effettuato la migrazione del suo data lake On-Premise verso uno con tecnologia Amazon S3; BMW Group ora elabora TB di dati di telemetria provenienti da milioni di veicoli e risolve i problemi prima che coinvolgano i clienti.
-
Nielsen
-
Leggi il caso di studioNielsen, un’azienda globale di analisi e misurazione dei dati, ha aumentato esponenzialmente la quantità di dati importati, elaborati e riportati ai clienti ogni giorno, sfruttando il vantaggio di una tecnologia cloud moderna. È passata dal misurare 40.000 abitazioni al giorno a più di 30 milioni.
-
Engie
-
Leggi il caso di studioENGIE è uno dei due principali produttori di energia in Francia e conta 160.000 dipendenti e 40 unità operative in 70 paesi. Il loro data lake Common Data Hub di circa 100 TB utilizza i servizi AWS per soddisfare le esigenze aziendali in materia di Data Science, marketing e operazioni.
Partner
Scopri come i nostri Partner aiutano le organizzazioni a costruire un'architettura dati moderna su AWS.
Cloudera
L'esecuzione di Cloudera Enterprise su AWS offre a utenti IT e aziendali una piattaforma di gestione dei dati che può fungere da fondamento per l'elaborazione e l'analisi dei dati moderni.
/Informatica_icon_solutionspace.b413aef928d0d5cb73d65ffe147b99059a187b46.png "Informatica Cloud"){kind=icon}
Informatica Cloud
Informatica Cloud fornisce un'integrazione ottimizzata per i servizi di dati di AWS con connettività nativa a oltre 100 applicazioni.
Dataguise
Dataguise è il leader nell'esecuzione aziendale sicura, fornendo soluzioni di sicurezza incentrate sui dati per rilevare e proteggere i dati sensibili di un'impresa, indipendentemente dal luogo e da chi necessita di sfruttarli.
Orchestrazione dei dati Alluxio
L'orchestrazione dei dati Alluxio permette ai clienti di sfruttare al meglio i servizi AWS chiave, come EMR e S3 per carichi di lavoro di analisi e IA - Intelligenza Artificiale.
Nozioni di base
AWS Data-Driven Everything
Nel programma AWS Data-Driven EVERYTHING (D2E), AWS collaborerà con i nostri clienti per muoversi più velocemente, con maggiore precisione e una portata molto più ambiziosa per far partire il proprio volàno di dati.
Ulteriori informazioni »
AWS Data Lab
AWS Data Lab offre l'impegno congiunto e accelerato tra clienti e risorse tecniche AWS, consentendo di generare risultati tangibili che accelerano le iniziative di modernizzazione di dati e analisi.
Architettura di riferimento di analisi dei dati e Big Data di AWS
Apprendi le best practice dell'architettura per l'analisi dei dati nel cloud, il data warehousing e la gestione dei dati su AWS.