Il Nasdaq si avvale di AWS per dare inizio all'archiviazione dei dati del mercato azionario nel cloud

2020

Nasdaq è una società multinazionale di servizi finanziari e tecnologici che possiede e gestisce il mercato azionario Nasdaq. Il Nasdaq gestisce un totale di 27 mercati, un deposito centrale di titoli e una camera di compensazione in varie di classi di attività in Nord America e in Europa. Ospita quasi 4.000 società quotate in tutto il mondo nei suoi mercati e fornisce anche la sua tecnologia mission-critical ad altri operatori di infrastrutture di mercato con sede in 50 paesi.

Il Nasdaq Stock Exchange è il più grande franchise azionario a livello globale per volume e gestisce l'abbinamento di acquirenti e venditori ad alto volume e velocità, fornendo al contempo i dati che alimentano la quotazione dei prezzi per le azioni nelle negoziazioni inserite elettronicamente. Nasdaq si affida a un'applicazione interna per acquisire e archiviare tutti i dati protetti della borsa. "Questi dati includono ordini, quotazioni, transazioni e cancellazioni", afferma Robert Hunt, Vice Presidente del Software Engineering presso Nasdaq. Ogni notte, il Nasdaq riceve miliardi di record che devono essere caricati per i processi di fatturazione e reporting prima dell'apertura dei mercati la mattina seguente.

Con l'ingresso nel mercato delle piattaforme di trading automatizzate, il ritmo e il volume delle transazioni sono aumentati. Nel 2014, per aumentare la capacità e le prestazioni e ridurre i costi operativi, Nasdaq è passata da un data warehouse legacy on-premise a un data warehouse Amazon Web Services (AWS) basato su un cluster Amazon Redshift. Tra il 2014 e il 2018, questo cluster Amazon Redshift è cresciuto fino a 70 nodi quando l'azienda ha ampliato la soluzione per supportare tutti i suoi mercati nordamericani. Entro il 2018, la soluzione ha importato ogni notte i dati dei mercati finanziari da migliaia di fonti, che vanno da 30 miliardi a 55 miliardi di record e superano i 4 terabyte.

Nel tempo, la crescita dei dati ha portato a un cambiamento nell'approccio alla gestione dei dati per l'analisi. L'elaborazione in batch notturna che viene eseguita attraverso il warehouse ha generato sfide nell'elaborazione di volumi enormi per rispettare scadenze rigorose. Gli utenti si affidano ai dati per completare la fatturazione, la creazione di report e la sorveglianza. "Quando la volatilità del mercato è aumentata all'inizio del 2018, i volumi di dati per il magazzino sono cresciuti notevolmente, raggiungendo un picco di circa 55 miliardi di record al giorno nel 2018", ha dichiarato Hunt.

Pratiche commerciali più sofisticate portano a una crescita massiccia dei dati ed era fondamentale che il Nasdaq iniziasse a pianificare l'evoluzione di una nuova architettura per continuare a raggiungere gli standard di prestazioni e l'eccellenza operativa che l'ecosistema si aspetta. "Dobbiamo sia caricare che consumare i 30 miliardi di record in un periodo di tempo compreso tra la chiusura del mercato e la mattina seguente. Il caricamento dei dati comportava un ritardo nella consegna dei nostri report", ha dichiarato Hunt. "Dovevamo poter scrivere o caricare i dati nella nostra soluzione di archiviazione molto rapidamente, allo stesso tempo senza interferire con la lettura e l'interrogazione dei dati".

Il Nasdaq esegue la migrazione dei suoi data warehouse in continua crescita verso una più moderna architettura data lake (2:25)
kr_quotemark

<Siamo stati in grado di supportare facilmente il salto da 30 a 70 miliardi di record al giorno grazie alla flessibilità e alla scalabilità di Simple Storage Service (Amazon S3) e Amazon Redshift".

Robert Hunt
Vicepresidente del Software Engineering, Nasdaq

Utilizzo dei servizi AWS per la flessibilità, la scalabilità e le prestazioni

Nel 2018, Nasdaq ha scelto di affidare le fondamenta di un nuovo data lake ad Amazon Simple Storage Service (Amazon S3), che permette all'azienda di separare il calcolo e l'archiviazione, nonché di scalare ogni funzione in modo indipendente. Nelle distribuzioni tradizionali di data warehouse, il dimensionamento della capacità di archiviazione spesso richiede alle aziende di scalare contemporaneamente anche la capacità di calcolo, poiché l'applicazione e l'archiviazione sono strettamente collegati, con modifiche hardware in loco necessarie per le possibili modifiche al rapporto tra i due. "Oltre alla flessibilità acquisita con la separazione di calcolo e archiviazione, Simple Storage Service (Amazon S3) vanta migliori proprietà di dimensionamento in termini di scrittura e lettura di grandi set di dati contemporaneamente", ha affermato Hunt. "Simple Storage Service (Amazon S3) ci ha fornito una soluzione che consente zero contese tra il caricamento dei dati e i processi di query".

Integrando le policy AWS Identity and Access Management (AWS IAM), Simple Storage Service (Amazon S3) fornisce anche un controllo completo degli accessi su più account AWS. Inoltre, Nasdaq utilizza Simple Storage Service (Amazon S3) per archiviare i dati finanziari critici e spostarli su Amazon S3 Glacier, dove possono essere archiviati a un costo inferiore. L'azienda si affida alla funzione di blocco degli oggetti Simple Storage Service (Amazon S3) per consentire ulteriormente la conformità.
 
A gennaio 2019, Nasdaq ha partecipato a un AWS Data Lab, dove ha collaborato con Solutions Architects AWS ed esperti di servizi di analisi che hanno fornito indicazioni prescrittive sull'architettura per ripensare al modo in cui il Nasdaq ha implementato il data warehousing. Nel laboratorio di quattro giorni, Nasdaq ha reinventato la modalità con cui fornisce analisi utilizzando Amazon Redshift come livello di calcolo. Come risultato, Nasdaq ha iniziato a utilizzare Amazon Redshift Spectrum, una funzionalità che alimenta un'architettura lake house per interrogare i dati sia nel data warehouse sia nel data lake di Simple Storage Service (Amazon S3). "Stiamo inserendo tutti i dati che provengono dalle nostre borse gestite internamente in Simple Storage Service (Amazon S3) e Amazon Redshift Spectrum", ha dichiarato Hunt. "I dati includono ordini, cancellazioni, preventivi e scambi. Questi vengono trasformati in messaggi e archiviati in Simple Storage Service (Amazon S3), e questi messaggi guidano i nostri processi di sorveglianza di fatturazione e reporting a valle".
 
Il nuovo data lake contiene 15 terabyte di dati su Simple Storage Service (Amazon S3), che il Nasdaq può interrogare sul posto senza caricare i dati subito dopo aver scritto i dati su Simple Storage Service (Amazon S3). In questo modo si riduce al minimo il tempo di analisi e il team di ricerca economica di Nasdaq può condurre analisi dei dati ed eseguire query complesse sui dati. Inoltre, il team di sorveglianza aziendale interroga il data lake dopo aver ricevuto richieste dalla Securities and Exchange Commission (SEC) degli Stati Uniti.

Quella che era iniziata come una soluzione incentrata sulle prestazioni è diventata un data lake multiuso condiviso tra i team, generando ulteriori benefici per l'azienda.

Dimensionamento per supportare 70 miliardi di record al giorno

Grazie al dimensionamento indipendente di calcolo e archiviazione, Nasdaq può ora aumentare o diminuire il proprio livello di calcolo per supportare il volume delle transazioni, con il data lake basato sull'archiviazione di Simple Storage Service (Amazon S3) in grado di supportare facilmente i dati che continuano a crescere per volume e complessità. Ad esempio, la volatilità del mercato è aumentata a fine febbraio 2020, all'inizio della pandemia di COVID-19, e la soluzione si è dimensionata in modo da supportare un'acquisizione di 70 miliardi di record al giorno, con un volume massimo di 113 miliardi.
 
"Siamo stati in grado di supportare facilmente il salto da 30 a 70 miliardi di record al giorno grazie alla flessibilità e alla scalabilità di Simple Storage Service (Amazon S3) e Amazon Redshift". "Abbiamo tenuto il passo con l'impennata dei volumi di dati e fornito i processi di fatturazione, creazione di report e sorveglianza necessari per sostenere i nostri obblighi verso il mercato". Nasdaq può anche dimensionare facilmente e rapidamente il proprio ambiente per garantire che non ci sia capacità inattiva quando il mercato si regolarizza nuovamente.

Caricamento dei dati di mercato per la creazione di report impiegando 5 ore in meno

Grazie alla nuova architettura lake house basata su Simple Storage Service (Amazon S3) e Amazon Redshift, Nasdaq sta raggiungendo il 90% nella sua capacità di completamento del carico di dati impiegando 5 ore in meno rispetto al passato. Inoltre, ottimizzando il suo data warehouse, l'azienda è stata in grado di eseguire le query di Amazon Redshift il 32% più velocemente. "Questi miglioramenti ci hanno aiutato ad accelerare i nostri processi di fatturazione e creazione di report", sostiene Hunt. "Ad esempio, abbiamo finito di assimilare i dati entro un'ora o due dalla chiusura del mercato, il che ci dà un vantaggio sulla fatturazione e sulla creazione di report. Questo aiuta immensamente quando abbiamo a che fare con i picchi di volume che abbiamo visto di recente e ci aiuta anche a rispettare o superare le nostre scadenze per i nostri clienti interni".
 
Nel tempo, il data lake di Simple Storage Service (Amazon S3) e Amazon Redshift ha consentito la trasformazione al Nasdaq. "Siamo liberi di concentrarci sulle competenze nel nostro settore per introdurre elementi innovativi in Nasdaq, mentre ci affidiamo ad AWS per le competenze nel cloud", ha affermato Hunt. "In futuro continueremo a usufruire dei nuovi servizi e delle nuove tecnologie AWS a seconda dell'andamento del mercato".

Informazioni su Nasdaq

Nasdaq, fondata nel 1971 e con sede a New York, è una società multinazionale di servizi finanziari che possiede e gestisce il mercato azionario Nasdaq e otto borse europee. L'azienda ospita quasi 4.000 aziende quotate in 50 paesi.

Vantaggi di AWS

  • Importa 70 miliardi di record al giorno
  • Carica i dati del mercato finanziario 5 ore più velocemente
  • Esegue le query Amazon Redshift il 32% più velocemente
  • Consente la trasformazione del business con i dati condivisi
  • Stimola l'innovazione con casi d'uso aggiuntivi


Servizi AWS utilizzati

Amazon Simple Storage Service

Amazon Simple Storage Service (Amazon S3) è un servizio di archiviazione di oggetti che offre scalabilità, disponibilità dei dati, sicurezza e prestazioni all'avanguardia nel settore.

Ulteriori informazioni »

Amazon Redshift

Amazon Redshift ti offre il meglio dei data warehouse ad alte prestazioni con la flessibilità e la scalabilità illimitate di archiviazione sui data lake.

Ulteriori informazioni »

AWS Identity and Access Management

AWS Identity and Access Management (IAM) consente di gestire in sicurezza l'accesso ai servizi e alle risorse AWS.

Ulteriori informazioni »

Amazon S3 Glacier

Amazon S3 Glacier e S3 Glacier Deep Archive costituiscono classi di archiviazione nel cloud Simple Storage Service (Amazon S3) sicure, durature ed estremamente economiche per l'archiviazione dei dati e il backup a lungo termine.

Ulteriori informazioni »

Altre storie sul Nasdaq

nessun elemento trovato 

1

Inizia

Organizzazioni di tutte le dimensioni in tutti i settori trasformano il proprio business e realizzano le loro missioni ogni giorno utilizzando AWS. Contatta i nostri esperti e inizia subito il tuo percorso verso il cloud AWS.