Nasdaq Uses AWS to Pioneer Stock Exchange Data Storage in the Cloud (Nasdaq utiliza AWS para liderar el almacenamiento de datos bursátiles en la nube)

Nasdaq es una corporación multinacional de servicios financieros y tecnología que posee y opera la bolsa de valores Nasdaq. Nasdaq opera un total de 27 mercados, un depósito central de valores y una cámara de compensación en una gran variedad de clases de activos en Norteamérica y Europa. Alberga casi 4000 empresas en todo el mundo en su mercado y, además, proporciona tecnología esencial a otros operadores de infraestructura de mercado situados en 50 países.

La bolsa de valores Nasdaq es la mayor franquicia de acciones del mundo por volumen y administra el proceso de coincidencias de compradores y vendedores a gran volumen y velocidad, a la vez que proporciona datos que son fuente del precio de las acciones en las operaciones introducidas de manera electrónica. Nasdaq se basa en una aplicación interna para capturar y almacenar todos los datos bursátiles protegidos. “Estos datos incluyen órdenes, cotizaciones, operaciones y cancelaciones”, explica Robert Hunt, vicepresidente de ingeniería de software de Nasdaq. Cada noche, Nasdaq recibe miles de millones de registros que deben cargarse para los procesos de facturación e información antes de la apertura de los mercados a la mañana siguiente.

A medida que las plataformas de comercialización automatizada han entrado en el mercado, el ritmo y el volumen de las transacciones han crecido. En 2014, para aumentar la escala y el rendimiento y reducir los costos operativos, Nasdaq pasó de un almacenamiento de datos local heredado a un almacenamiento de datos de Amazon Web Services (AWS) con tecnología de un clúster de Amazon Redshift. Entre 2014 y 2018, este clúster de Amazon Redshift creció hasta los 70 nodos a medida que la empresa ampliaba la solución para dar soporte a todos los mercados norteamericanos. En 2018, la solución recibió datos de los mercados financieros procedentes de miles de orígenes cada noche, entre 30 y 55 mil millones de registros con lo que se superó los 4 terabytes.

Con el tiempo, el crecimiento de los datos dio lugar a un cambio de enfoque de la administración de esos datos para el análisis. El procesamiento por lotes durante la noche que se ejecuta en el almacenamiento provocó dificultades en el procesamiento de enormes volúmenes para cumplir con los estrictos plazos. Los usuarios confían en los datos para completar la facturación, los informes y la vigilancia. “Cuando la volatilidad del mercado aumentó a principios del 2018, los volúmenes de datos para el almacenamiento crecieron de manera significativa, con lo que se recopilaron unos 55 mil millones de registros por día en 2018”, dice Hunt.

Prácticas comerciales más sofisticadas llevaron a un crecimiento masivo en los datos y fue crítico que Nasdaq iniciara la planificación para evolucionar a una nueva arquitectura a fin de continuar con el cumplimiento de los estándares de rendimiento y de excelencia operativa que ecosistema espera. “Tenemos que cargar y consumir los 30 mil millones de registros en un periodo de tiempo que va desde el cierre del mercado hasta la mañana siguiente. La carga de los datos retrasaba la entrega de los informes”, señala Hunt. “Necesitábamos poder escribir o cargar datos en nuestra solución de almacenamiento de datos de forma muy rápida sin interferir en la lectura y la consulta de los datos al mismo tiempo”.

En 2018, Nasdaq decidió sentar las bases de un nuevo lago de datos en Amazon Simple Storage Service (Amazon S3), que permite a la empresa separar la computación y el almacenamiento y escalar cada función de forma independiente. En las implementaciones tradicionales de almacenamiento de datos, el escalado de la capacidad de almacenamiento suele requerir que las empresas escalen la capacidad de computación al mismo tiempo, ya que la aplicación y el almacenamiento están estrechamente vinculados y se necesitan modificaciones de hardware en el lugar para cualquier cambio en la proporción de ambos. “Además de la flexibilidad que supone la separación de la computación y el almacenamiento, Amazon S3 tiene mejores propiedades de escalado en términos de escritura y lectura de grandes conjuntos de datos al mismo tiempo”, afirma Hunt. “Amazon S3 nos dio una solución que permite la contención cero entre la carga de datos y los procesos de consulta”.

Lo que comenzó como una solución centrada en el rendimiento, se ha convertido en un lago de datos de varios usos compartido entre los equipos, lo que ha supuesto una ventaja adicional para la empresa.