Nasdaq Uses AWS to Pioneer Stock Exchange Data Storage in the Cloud (Nasdaq utiliza AWS para liderar el almacenamiento de datos bursátiles en la nube)

2020

Nasdaq es una corporación multinacional de servicios financieros y tecnología que posee y opera la bolsa de valores Nasdaq. Nasdaq opera un total de 27 mercados, un depósito central de valores y una cámara de compensación en una gran variedad de clases de activos en Norteamérica y Europa. Alberga casi 4000 empresas en todo el mundo en su mercado y, además, proporciona tecnología esencial a otros operadores de infraestructura de mercado situados en 50 países.

La bolsa de valores Nasdaq es la mayor franquicia de acciones del mundo por volumen y administra el proceso de coincidencias de compradores y vendedores a gran volumen y velocidad, a la vez que proporciona datos que son fuente del precio de las acciones en las operaciones introducidas de manera electrónica. Nasdaq se basa en una aplicación interna para capturar y almacenar todos los datos bursátiles protegidos. “Estos datos incluyen órdenes, cotizaciones, operaciones y cancelaciones”, explica Robert Hunt, vicepresidente de ingeniería de software de Nasdaq. Cada noche, Nasdaq recibe miles de millones de registros que deben cargarse para los procesos de facturación e información antes de la apertura de los mercados a la mañana siguiente.

A medida que las plataformas de comercialización automatizada han entrado en el mercado, el ritmo y el volumen de las transacciones han crecido. En 2014, para aumentar la escala y el rendimiento y reducir los costos operativos, Nasdaq pasó de un almacenamiento de datos local heredado a un almacenamiento de datos de Amazon Web Services (AWS) con tecnología de un clúster de Amazon Redshift. Entre 2014 y 2018, este clúster de Amazon Redshift creció hasta los 70 nodos a medida que la empresa ampliaba la solución para dar soporte a todos los mercados norteamericanos. En 2018, la solución recibió datos de los mercados financieros procedentes de miles de orígenes cada noche, entre 30 y 55 mil millones de registros con lo que se superó los 4 terabytes.

Con el tiempo, el crecimiento de los datos dio lugar a un cambio de enfoque de la administración de esos datos para el análisis. El procesamiento por lotes durante la noche que se ejecuta en el almacenamiento provocó dificultades en el procesamiento de enormes volúmenes para cumplir con los estrictos plazos. Los usuarios confían en los datos para completar la facturación, los informes y la vigilancia. “Cuando la volatilidad del mercado aumentó a principios del 2018, los volúmenes de datos para el almacenamiento crecieron de manera significativa, con lo que se recopilaron unos 55 mil millones de registros por día en 2018”, dice Hunt.

Prácticas comerciales más sofisticadas llevaron a un crecimiento masivo en los datos y fue crítico que Nasdaq iniciara la planificación para evolucionar a una nueva arquitectura a fin de continuar con el cumplimiento de los estándares de rendimiento y de excelencia operativa que ecosistema espera. “Tenemos que cargar y consumir los 30 mil millones de registros en un periodo de tiempo que va desde el cierre del mercado hasta la mañana siguiente. La carga de los datos retrasaba la entrega de los informes”, señala Hunt. “Necesitábamos poder escribir o cargar datos en nuestra solución de almacenamiento de datos de forma muy rápida sin interferir en la lectura y la consulta de los datos al mismo tiempo”.

Nasdaq Migrates Its Growing Data Warehouse to a More Modern Data Lake Architecture (2:25)
kr_quotemark

Pudimos asumir con facilidad el salto de 30 mil millones de registros a 70 mil millones de registros al día gracias a la flexibilidad y la escalabilidad de Amazon S3 y Amazon Redshift”.

Robert Hunt
Vicepresidente de Ingeniería de software, Nasdaq

Uso de los servicios de AWS para obtener flexibilidad, escalabilidad y rendimiento

En 2018, Nasdaq decidió sentar las bases de un nuevo lago de datos en Amazon Simple Storage Service (Amazon S3), que permite a la empresa separar la computación y el almacenamiento y escalar cada función de forma independiente. En las implementaciones tradicionales de almacenamiento de datos, el escalado de la capacidad de almacenamiento suele requerir que las empresas escalen la capacidad de computación al mismo tiempo, ya que la aplicación y el almacenamiento están estrechamente vinculados y se necesitan modificaciones de hardware en el lugar para cualquier cambio en la proporción de ambos. “Además de la flexibilidad que supone la separación de la computación y el almacenamiento, Amazon S3 tiene mejores propiedades de escalado en términos de escritura y lectura de grandes conjuntos de datos al mismo tiempo”, afirma Hunt. “Amazon S3 nos dio una solución que permite la contención cero entre la carga de datos y los procesos de consulta”.

Al integrar las políticas de AWS Identity and Access Management (AWS IAM), Amazon S3 también proporciona control de acceso completo a través de varias cuentas de AWS. Además, Nasdaq utiliza Amazon S3 para almacenar datos financieros críticos y trasladarlos a Amazon S3 Glacier, donde pueden archivarse a un costo menor. La empresa se basa en la característica de bloqueo de objetos de Amazon S3 para permitir el cumplimiento.
 
En enero de 2019, Nasdaq realizó un AWS Data Lab, en el que se trabajó con arquitectos de soluciones de AWS y expertos del servicio de análisis que proporcionaron orientación de arquitectura prescriptiva para replantear cómo Nasdaq implementó el almacenamiento de datos. En el laboratorio de cuatro días, Nasdaq reinventó la forma de ofrecer análisis mediante el uso de Amazon Redshift como una capa de computación. Como resultado, Nasdaq comenzó a utilizar Amazon Redshift Spectrum, una característica que potencia una arquitectura de lake house para consultar datos tanto en el almacenamiento de datos como en el lago de datos de Amazon S3. “Estamos incorporando todos los datos que provienen de nuestras bolsas operadas a nivel interno en Amazon S3 y Amazon Redshift Spectrum”, explica Hunt. “Esto incluye órdenes, cancelaciones, cotizaciones y operaciones. Estos se convierten en mensajes y se archivan en Amazon S3 y esos mensajes impulsan nuestros procesos de facturación posterior y vigilancia de informes”.
 
El nuevo lago de datos contiene 15 terabytes de datos en Amazon S3, que Nasdaq puede consultar en el lugar sin necesidad de cargar los datos inmediatamente después de escribirlos en Amazon S3. De este modo, el tiempo de obtención de información es mínimo y permite al equipo de investigación económica de Nasdaq realizar análisis de datos y utilizarlos para ejecutar consultas complejas. Además, el equipo de negocios de vigilancia de la empresa consulta el lago de datos tras recibir solicitudes de la Comisión de Bolsa y Valores (SEC).

Lo que comenzó como una solución centrada en el rendimiento, se ha convertido en un lago de datos de varios usos compartido entre los equipos, lo que ha supuesto una ventaja adicional para la empresa.

Escalado para asumir 70 mil millones de registros al día

Con el escalado independiente de la computación y el almacenamiento, Nasdaq ahora puede flexibilizar la capa de computación para asumir el volumen de transacciones. Con el lago de datos creado en el almacenamiento de Amazon S3, se admiten con facilidad los datos que siguen en crecimiento en volumen y complejidad. Por ejemplo, la volatilidad del mercado que se incrementó a fines de febrero de 2020, al comienzo de la pandemia de COVID-19, y la solución escaló para admitir una ingesta de 70 mil millones de registros diarios, con un volumen máximo de 113 mil millones.
 
“Pudimos asumir con facilidad el salto de 30 mil millones a 70 mil millones de registros al día gracias a la flexibilidad y la escalabilidad de Amazon S3 y Amazon Redshift”, señala Hunt. “Hemos seguido el ritmo de los volúmenes de datos y hemos ofrecido los procesos de facturación, información y vigilancia necesarios para respaldar nuestras obligaciones con el mercado”. Nasdaq también puede reducir fácil y rápidamente su entorno para garantizar de que no haya capacidad inactiva cuando el mercado se ajuste de nuevo.

Carga de datos de mercado para obtener informes 5 horas más rápido

Gracias a la nueva arquitectura de lake house basada en Amazon S3 y Amazon Redshift, Nasdaq alcanza su marca del 90 % de finalización de carga de datos 5 horas más pronto que antes. Además, al optimizar el almacenamiento de datos, la empresa pudo ejecutar las consultas de Amazon Redshift un 32 % más rápido. “Estas mejoras nos ayudaron a acelerar los procesos de facturación y elaboración de informes”, explica Hunt. “Por ejemplo, terminamos de capturar los datos una o dos horas después del cierre del mercado, lo que nos da ventaja en la facturación y la generación de informes. Nos ayuda muchísimo cuando tenemos que lidiar con el pico de volumen que hemos visto recientemente y también nos ayuda a cumplir o superar los plazos para nuestros clientes internos”.
 
Con el tiempo, el lago de datos de Amazon S3 y Amazon Redshift ha habilitado la transformación en Nasdaq. “Somos libres de centrarnos en la experiencia que tenemos en nuestro sector con el fin de innovar para Nasdaq, a la vez que confiamos en AWS a fin de que nos proporcione experiencia en la nube”, afirma Hunt. “En adelante, seguiremos aprovechando los nuevos servicios y tecnologías de AWS a medida que el mercado lo requiera”.

Acerca de Nasdaq

Nasdaq, fundada en 1971 y con sede en la ciudad de Nueva York, es una corporación multinacional de servicios financieros que posee y opera el mercado de valores Nasdaq y ocho bolsas europeas. La empresa reúne cerca de 4000 empresas que cotizan en bolsa situadas en 50 países.

Beneficios de AWS

  • Incorpora 70 mil millones de registros por día
  • Carga los datos del mercado financiero 5 horas más rápido
  • Ejecuta consultas de Amazon Redshift un 32 % más rápido
  • Habilita la transformación empresarial con datos compartidos
  • Impulsa la innovación con casos de uso adicionales


Servicios de AWS utilizados

Amazon Simple Storage Service

Amazon Simple Storage Service (Amazon S3) es un servicio de almacenamiento de objetos que ofrece escalabilidad, disponibilidad de datos, seguridad y rendimiento líderes en el sector.

Más información »

Amazon Redshift

Amazon Redshift le ofrece el mejor de los almacenamientos de datos de alto rendimiento con la flexibilidad y la escalabilidad ilimitadas del almacenamiento de lagos de datos.

Más información »

AWS Identity and Access Management

AWS Identity and Access Management (IAM) lo habilita para administrar el acceso a los recursos y servicios de AWS de manera segura.

Más información »

Amazon S3 Glacier

Amazon S3 Glacier y S3 Glacier Deep Archive son clases de almacenamiento en la nube de Amazon S3 seguro, duradero y de muy bajo costo para archivar datos y realizar copias de seguridad a largo plazo.

Más información »

Más historias de Nasdaq

no se encontraron elementos 

1

Comenzar

Organizaciones de todos los tamaños y de todos los sectores transforman sus negocios y cumplen sus misiones todos los días con AWS. Contacte nuestros expertos y comience hoy mismo su propia jornada en AWS.