Il Nasdaq si avvale di AWS per dare inizio all'archiviazione dei dati del mercato azionario nel cloud

Nasdaq è una società multinazionale di servizi finanziari e tecnologici che possiede e gestisce il mercato azionario Nasdaq. Il Nasdaq gestisce un totale di 27 mercati, un deposito centrale di titoli e una camera di compensazione in varie di classi di attività in Nord America e in Europa. Ospita quasi 4.000 società quotate in tutto il mondo nei suoi mercati e fornisce anche la sua tecnologia mission-critical ad altri operatori di infrastrutture di mercato con sede in 50 paesi.

Il Nasdaq Stock Exchange è il più grande franchise azionario a livello globale per volume e gestisce l'abbinamento di acquirenti e venditori ad alto volume e velocità, fornendo al contempo i dati che alimentano la quotazione dei prezzi per le azioni nelle negoziazioni inserite elettronicamente. Nasdaq si affida a un'applicazione interna per acquisire e archiviare tutti i dati protetti della borsa. "Questi dati includono ordini, quotazioni, transazioni e cancellazioni", afferma Robert Hunt, Vice Presidente del Software Engineering presso Nasdaq. Ogni notte, il Nasdaq riceve miliardi di record che devono essere caricati per i processi di fatturazione e reporting prima dell'apertura dei mercati la mattina seguente.

Con l'ingresso nel mercato delle piattaforme di trading automatizzate, il ritmo e il volume delle transazioni sono aumentati. Nel 2014, per aumentare la capacità e le prestazioni e ridurre i costi operativi, Nasdaq è passata da un data warehouse legacy on-premise a un data warehouse Amazon Web Services (AWS) basato su un cluster Amazon Redshift. Tra il 2014 e il 2018, questo cluster Amazon Redshift è cresciuto fino a 70 nodi quando l'azienda ha ampliato la soluzione per supportare tutti i suoi mercati nordamericani. Entro il 2018, la soluzione ha importato ogni notte i dati dei mercati finanziari da migliaia di fonti, che vanno da 30 miliardi a 55 miliardi di record e superano i 4 terabyte.

Nel tempo, la crescita dei dati ha portato a un cambiamento nell'approccio alla gestione dei dati per l'analisi. L'elaborazione in batch notturna che viene eseguita attraverso il warehouse ha generato sfide nell'elaborazione di volumi enormi per rispettare scadenze rigorose. Gli utenti si affidano ai dati per completare la fatturazione, la creazione di report e la sorveglianza. "Quando la volatilità del mercato è aumentata all'inizio del 2018, i volumi di dati per il magazzino sono cresciuti notevolmente, raggiungendo un picco di circa 55 miliardi di record al giorno nel 2018", ha dichiarato Hunt.

Pratiche commerciali più sofisticate portano a una crescita massiccia dei dati ed era fondamentale che il Nasdaq iniziasse a pianificare l'evoluzione di una nuova architettura per continuare a raggiungere gli standard di prestazioni e l'eccellenza operativa che l'ecosistema si aspetta. "Dobbiamo sia caricare che consumare i 30 miliardi di record in un periodo di tempo compreso tra la chiusura del mercato e la mattina seguente. Il caricamento dei dati comportava un ritardo nella consegna dei nostri report", ha dichiarato Hunt. "Dovevamo poter scrivere o caricare i dati nella nostra soluzione di archiviazione molto rapidamente, allo stesso tempo senza interferire con la lettura e l'interrogazione dei dati".

Nel 2018, Nasdaq ha scelto di affidare le fondamenta di un nuovo data lake ad Amazon Simple Storage Service (Amazon S3), che permette all'azienda di separare il calcolo e l'archiviazione, nonché di scalare ogni funzione in modo indipendente. Nelle distribuzioni tradizionali di data warehouse, il dimensionamento della capacità di archiviazione spesso richiede alle aziende di scalare contemporaneamente anche la capacità di calcolo, poiché l'applicazione e l'archiviazione sono strettamente collegati, con modifiche hardware in loco necessarie per le possibili modifiche al rapporto tra i due. "Oltre alla flessibilità acquisita con la separazione di calcolo e archiviazione, Simple Storage Service (Amazon S3) vanta migliori proprietà di dimensionamento in termini di scrittura e lettura di grandi set di dati contemporaneamente", ha affermato Hunt. "Simple Storage Service (Amazon S3) ci ha fornito una soluzione che consente zero contese tra il caricamento dei dati e i processi di query".

Quella che era iniziata come una soluzione incentrata sulle prestazioni è diventata un data lake multiuso condiviso tra i team, generando ulteriori benefici per l'azienda.