nasdaq-200x70

Nasdaq utiliza AWS para liderar el almacenamiento de datos bursátiles en la nube

2020

Nasdaq es una corporación multinacional de servicios financieros y tecnología que posee y opera la bolsa de valores Nasdaq. Nasdaq opera un total de 27 mercados, un depósito central de valores y una cámara de compensación en una gran variedad de clases de activos en Norteamérica y Europa. Reúne a casi 4000 empresas cotizadas en todo el mundo a través de sus mercados y también proporciona su tecnología esencial a otros operadores de infraestructuras de mercado ubicados en 50 países.

La bolsa de valores Nasdaq es la mayor franquicia de renta variable a nivel mundial por volumen y administra la coordinación de compradores y vendedores a gran volumen y velocidad, al tiempo que ofrece datos que suministran la cotización de los valores en las operaciones introducidas electrónicamente. Nasdaq se basa en una aplicación interna para capturar y almacenar todos los datos bursátiles protegidos. "Estos datos incluyen órdenes, cotizaciones, operaciones y cancelaciones", explica Robert Hunt, vicepresidente de ingeniería de software de Nasdaq. Todas las noches, Nasdaq recibe miles de millones de registros que deben cargarse para los procesos de facturación e informes antes de la apertura de los mercados a la mañana siguiente.

A medida que las plataformas de negociación automatizada se han ido incorporando al mercado, el ritmo y el volumen de las transacciones han ido creciendo. En 2014, para aumentar la escala y el rendimiento, y reducir los costes operativos, Nasdaq pasó de un almacenamiento de datos heredado en las instalaciones a un almacenamiento de datos de Amazon Web Services (AWS) basado en un clúster de Amazon Redshift. Entre 2014 y 2018, este clúster de Amazon Redshift creció hasta los 70 nodos a medida que la empresa ampliaba la solución para dar soporte a todos sus mercados norteamericanos. En 2018, la solución capturó datos de los mercados financieros procedentes de miles de fuentes cada noche, que iban de 30 000 millones a 55 000 millones de registros y superaban los 4 terabytes.

Con el tiempo, el crecimiento de los datos conllevó un cambio de planteamiento en la administración de esos datos para el análisis. El procesamiento por lotes durante la noche que se ejecuta en el almacenamiento provocó dificultades en el procesamiento de enormes volúmenes para cumplir con los estrictos plazos. Los usuarios confían en los datos para completar la facturación, los informes y la vigilancia. "Cuando la volatilidad del mercado aumentó a principios de 2018, los volúmenes de datos para el almacenamiento crecieron sustancialmente, alcanzando un máximo de unos 55 000 millones de registros al día en 2018", afirma Hunt.

Las prácticas de negociación más sofisticadas conllevan un crecimiento masivo de los datos y era fundamental que Nasdaq comenzara a planificar la evolución de una nueva arquitectura para seguir alcanzando los estándares de rendimiento y excelencia operativa que espera el ecosistema. "Tenemos que cargar y consumir los 30 000 millones de registros en un periodo de tiempo que va desde el cierre del mercado hasta la mañana siguiente. La carga de los datos retrasaba la entrega de los informes", señala Hunt. "Necesitábamos poder escribir o cargar datos en nuestra solución de almacenamiento de datos de forma muy rápida sin interferir en la lectura y la consulta de los datos al mismo tiempo".

Nasdaq migra su creciente almacenamiento de datos a una arquitectura de lago de datos más moderna (2:25)
kr_quotemark

Pudimos asumir fácilmente el salto de 30 000 millones de registros a 70 000 millones de registros al día gracias a la flexibilidad y la escalabilidad de Amazon S3 y Amazon Redshift".

Robert Hunt
Vicepresidente de ingeniería de software, Nasdaq

Uso de los servicios de AWS para obtener flexibilidad, escalabilidad y rendimiento

En 2018, Nasdaq decidió sentar las bases de un nuevo lago de datos en Amazon Simple Storage Service (Amazon S3), que permite a la empresa separar la informática del almacenamiento, y escalar cada función de forma independiente. En las implementaciones tradicionales de almacenamiento de datos, el escalado de la capacidad de almacenamiento suele requerir que las empresas escalen la capacidad informática al mismo tiempo, ya que la aplicación y el almacenamiento están estrechamente vinculados, y se necesitan modificaciones de hardware in situ para cualquier cambio en la proporción de ambos. "Además de la flexibilidad que supone la separación de la informática y el almacenamiento, Amazon S3 tiene mejores propiedades de escalado en lo que respecta a la escritura y lectura de grandes conjuntos de datos simultáneamente", afirma Hunt. "Amazon S3 nos ofreció una solución que permite la contención cero entre los procesos de carga y consulta de datos".

Al integrar las políticas de AWS Identity and Access Management (AWS IAM), Amazon S3 también proporciona un control de acceso exhaustivo en varias cuentas de AWS. Además, Nasdaq utiliza Amazon S3 para almacenar datos financieros críticos y trasladarlos a Amazon S3 Glacier, donde pueden archivarse a un coste menor. La empresa se basa en la característica de bloqueo de objetos de Amazon S3 para posibilitar aún más la conformidad.
 
En enero de 2019, Nasdaq participó en un AWS Data Lab, en el que colaboró con arquitectos de soluciones de AWS y expertos en servicios analíticos que ofrecieron orientación prescriptiva sobre la arquitectura para replantear el modo en que Nasdaq implementaba el almacenamiento de datos. En el laboratorio de cuatro días, Nasdaq reinventó la forma de ofrecer análisis mediante el uso de Amazon Redshift como una capa informática. Como resultado, Nasdaq comenzó a utilizar Amazon Redshift Spectrum, una característica que potencia una arquitectura de casa del lago para consultar datos tanto en el almacenamiento de datos como en el lago de datos de Amazon S3. "Estamos incorporando todos los datos que provienen de nuestras bolsas operadas internamente en Amazon S3 y Amazon Redshift Spectrum", explica Hunt. "Esto incluye órdenes, cancelaciones, cotizaciones y operaciones. Se convierten en mensajes y se archivan en Amazon S3. Con esos mensajes se impulsan nuestros procesos de vigilancia de facturación e informes posteriores".
 
El nuevo lago de datos contiene 15 terabytes de datos en Amazon S3, que Nasdaq puede consultar sin necesidad de cargarlos inmediatamente después de escribirlos en Amazon S3. De este modo, el tiempo de obtención de información es mínimo y permite al equipo de investigación económica de Nasdaq realizar análisis de datos y utilizarlos para ejecutar consultas complejas. Además, el equipo de negocios de vigilancia de la empresa consulta el lago de datos tras recibir solicitudes de la Comisión de Valores de Estados Unidos (SEC).

Lo que comenzó como una solución centrada en el rendimiento, se ha convertido en un lago de datos multiuso compartido entre los equipos, lo que ha supuesto una ventaja adicional para la empresa.

Escalado para asumir 70 000 millones de registros al día

Con el escalado independiente de la informática y el almacenamiento, Nasdaq ahora puede flexibilizar su capa informática para asumir el volumen de transacciones. Con el lago de datos basado en el almacenamiento de Amazon S3, se admiten fácilmente los datos que siguen creciendo en volumen y complejidad. Por ejemplo, la volatilidad del mercado se disparó a finales de febrero de 2020, al comienzo de la pandemia de la COVID-19, y la solución se escaló para admitir la captura de 70 000 millones de registros diarios, con un volumen máximo de 113 000 millones.
 
"Pudimos asumir fácilmente el salto de 30 000 millones de registros a 70 000 millones de registros diarios gracias a la flexibilidad y la escalabilidad de Amazon S3 y Amazon Redshift", afirma Hunt. "Hemos seguido el ritmo de los volúmenes de datos y hemos ofrecido los procesos de facturación, información y vigilancia necesarios para respaldar nuestras obligaciones con el mercado". Nasdaq también puede reducir fácil y rápidamente su entorno para asegurarse de que no haya capacidad inactiva cuando el mercado se ajuste de nuevo.

Carga de datos de mercado para obtener informes cinco horas más rápido

Gracias a su nueva arquitectura de casa del lago basada en Amazon S3 y Amazon Redshift, Nasdaq está alcanzando su marca del 90 % de finalización de carga de datos cinco horas más pronto que antes. Además, al optimizar su almacenamiento de datos, la empresa pudo ejecutar las consultas de Amazon Redshift un 32 % más rápido. "Estas mejoras nos ayudaron a acelerar los procesos de facturación y elaboración de informes", explica Hunt. "Por ejemplo, terminamos de capturar los datos una o dos horas después del cierre del mercado, lo que nos da ventaja en la facturación y la generación de informes. Esto es de gran ayuda cuando nos enfrentamos a los picos de volumen que hemos visto recientemente, y también nos ayuda a cumplir o superar los plazos para nuestros clientes internos".
 
Con el tiempo, el lago de datos de Amazon S3 y Amazon Redshift ha facilitado la transformación en Nasdaq. "Somos libres de centrarnos en la experiencia que tenemos en nuestro sector con el fin de innovar para Nasdaq, a la vez que confiamos en AWS para que nos proporcione su experiencia en la nube", afirma Hunt. "En adelante, seguiremos aprovechando los nuevos servicios y tecnologías de AWS a medida que el mercado lo requiera".

Acerca de Nasdaq

Nasdaq, fundada en 1971 y con sede en Nueva York, es una corporación multinacional de servicios financieros que posee y opera el mercado de valores Nasdaq y ocho bolsas europeas. La empresa reúne a cerca de 4000 empresas que cotizan en bolsa en 50 países.

Beneficios de AWS

  • Captura 70 000 millones de registros al día
  • Carga los datos de los mercados financieros cinco horas más rápido
  • Ejecuta las consultas de Amazon Redshift un 32 % más rápido
  • Facilita la transformación empresarial con datos compartidos
  • Impulsa la innovación con casos de uso adicionales


Servicios de AWS utilizados

Amazon Simple Storage Service

Amazon Simple Storage Service (Amazon S3) es un servicio de almacenamiento de objetos que ofrece una escalabilidad, una disponibilidad de datos, una seguridad y un rendimiento líderes en el sector.

Más información»

Amazon Redshift

Amazon Redshift le ofrece el mejor de los almacenamientos de datos de alto rendimiento con la flexibilidad y la escalabilidad ilimitadas del almacenamiento de los lagos de datos.

Más información »

AWS Identity and Access Management

Con AWS Identity and Access Management (IAM) puede administrar el acceso a los servicios y recursos de AWS de manera segura.

Más información »

Amazon S3 Glacier

Amazon S3 Glacier y S3 Glacier Deep Archive son clases de almacenamiento en la nube de Amazon S3 seguras, duraderas y de muy bajo coste para el archivo de datos y copias de seguridad a largo plazo.

Más información »


Introducción

Cada día crece el número de empresas de todos los tamaños y sectores que consiguen transformar sus negocios gracias a AWS. Contacte con nuestros expertos y empiece hoy mismo su traspaso a la nube de AWS.