
Nasdaq usa a AWS para tornar-se pioneira no armazenamento de dados de bolsas de valores na nuvem
2020
A Nasdaq é uma empresa multinacional de tecnologia e serviços financeiros que detém e opera a Bolsa de Valores Nasdaq. A Nasdaq opera um total de 27 mercados, um depositário central de títulos mobiliários e um centro de coordenação em uma série de classes de ativos na América do Norte e na Europa. Ela é a base de quase 4.000 empresas de capital aberto globalmente em seus mercados e também fornece sua tecnologia essencial à missão para outros operadores de infraestrutura de mercado localizados em 50 países.
A Bolsa de Valores Nasdaq é a maior franquia em volume de ações em todo o mundo. Ela gerencia a conciliação de compradores e vendedores em alto volume e velocidade, ao mesmo tempo que fornece dados que alimentam a cotação de preços de ações nas negociações celebradas eletronicamente. A Nasdaq conta com uma aplicação interna para capturar e armazenar todos os dados cambiais protegidos. “Esses dados incluem ordens, cotações, negócios e cancelamentos”, diz Robert Hunt, vice-presidente de engenharia de software da Nasdaq. Toda noite, a Nasdaq recebe bilhões de registros que precisam ser carregados nos processos de faturamento e relatórios antes da abertura dos mercados na manhã seguinte.
O ritmo e o volume das transações aumentaram à medida que as plataformas de negociação automatizadas entraram no mercado. Em 2014, para aumentar a escala e a performance e reduzir os custos operacionais, a Nasdaq migrou de um data warehouse on-premises herdado para o data warehouse da Amazon Web Services (AWS) habilitado por um cluster do Amazon Redshift. Entre 2014 e 2018, esse cluster do Amazon Redshift aumentou para 70 nós à medida que a empresa expandia a solução para oferecer suporte a todos os seus mercados norte-americanos. Em 2018, a solução ingeriu dados do mercado financeiro provenientes de fontes no período noturno, variando de 30 a 55 bilhões de registros e ultrapassando 4 terabytes.
Com o tempo, o maior volume de dados levou a uma mudança na abordagem do gerenciamento desses dados para análise. O processamento noturno em lotes, executado no warehouse, criou desafios no processamento de enormes volumes para cumprir prazos rigorosos. Os usuários dependem dos dados para executar atividades de faturamento, relatórios e vigilância. “Quando a volatilidade do mercado aumentou no início de 2018, os volumes de dados do warehouse aumentou substancialmente, atingindo um pico de cerca de 55 bilhões de registros por dia em 2018”, diz Hunt.
Práticas de negociação mais sofisticadas levaram a um crescimento vultuoso nos dados e foi essencial que a Nasdaq começasse a planejar uma evolução para uma nova arquitetura a fim de continuar a alcançar os padrões de performance e a excelência operacional que o ecossistema espera. “Precisamos carregar e consumir os 30 bilhões de registros no intervalo entre o fechamento do mercado e a manhã seguinte. O carregamento dos dados atrasava a entrega dos nossos relatórios”, diz Hunt. “Precisávamos ser capazes de gravar ou carregar dados em nossa solução de armazenamento de dados com muita rapidez e, ao mesmo tempo, sem interferir na leitura e nas consultas dos dados.”

Pudemos facilmente suportar o salto de 30 para 70 bilhões de registros por dia devido à flexibilidade e à escalabilidade do Amazon S3 e do Amazon Redshift.”
Robert Hunt
Vice-presidente de Engenharia de software, Nasdaq
Uso de serviços da AWS para obter flexibilidade, escalabilidade e performance
Em 2018, a Nasdaq optou por desenvolver a base de um novo data lake no Amazon Simple Storage Service (Amazon S3), o que permite que a empresa separe computação e armazenamento e escale cada função de forma independente. Em implantações de data warehouses tradicionais, escalar a capacidade de armazenamento quase sempre exige que as empresas escalem, ao mesmo tempo, a capacidade computacional, pois a aplicação e o armazenamento estão intimamente ligados, exigindo modificações de hardware no local em caso de qualquer alteração na proporção dos dois. “Além da flexibilidade que surge com a separação entre computação e armazenamento, o Amazon S3 apresenta propriedades de escalabilidade melhores para gravação e leitura simultâneas de grandes conjuntos de dados”, diz Hunt. “O Amazon S3 nos deu uma solução que permite zero contenção entre o carregamento dos dados e os processos de consulta”.
O que começou como uma solução concentrada em performance tornou-se um data lake multiuso compartilhado entre equipes, gerando um benefício adicional para os negócios.
Escalabilidade para dar suporte a 70 bilhões de registros por dia
Redução de 5 horas no carregamento dos dados do mercado para relatórios
Sobre a Nasdaq
Benefícios da AWS
- Ingere 70 bilhões de registros por dia
- Carrega dados do mercado financeiro 5 horas mais rápido
- Executa consultas do Amazon Redshift 32% mais rápido
- Permite a transformação de negócios com dados compartilhados
- Estimula a inovação com casos de uso adicionais
Serviços da AWS usados
Amazon Simple Storage Service
O Amazon Simple Storage Service (Amazon S3) é um serviço de armazenamento de objetos que oferece escalabilidade, disponibilidade de dados, segurança e performance líderes do setor.
Amazon Redshift
O Amazon Redshift oferece o melhor dos data warehouses de alta performance com a flexibilidade e a escalabilidade ilimitadas do armazenamento de data lake.
AWS Identity and Access Management
O AWS Identity and Access Management (IAM) permite que você gerencie com segurança o acesso aos serviços e recursos da AWS.
Amazon S3 Glacier
O Amazon S3 Glacier e o S3 Glacier Deep Archive são classes de armazenamento na nuvem do Amazon S3 seguro, resiliente e de custo extremamente baixo para arquivamento de dados e backups em longo prazo.
Mais histórias da Nasdaq
Total results: 8
nenhum item encontrado
-
United States
AWS re:Invent 2021 – Nasdaq Will Migrate Its First US Options Market Onto AWS
President & CEO Adena Friedman shares how Nasdaq and AWS have formed a partnership to build the next generation of cloud-enabled infrastructure for the world’s capital markets. -
United States
The Decade-Long Nasdaq and AWS Collaboration Scales New Heights as Women Leaders #BreakTheBias
In a recent Bloomberg Businessweek Podcast recorded just after International Women’s Day 2022, senior executives from Nasdaq and Amazon Web Services (AWS) discussed the landmark moment in Nasdaq’s cloud journey to build the next generation of cloud-enabled infrastructure for the world’s capital markets, running on AWS. In this post, we highlight moments from the podcast featuring Lauren Dillard, Executive Vice President, Investment Intelligence at Nasdaq, and Ruba Borno, Vice President, Worldwide Channels and Alliances at AWS. The two women explore the decade-long collaboration between Nasdaq and AWS, and the alignment of diversity, equity, and inclusion (DEI) efforts at both companies that will support their future growth. The International Women’s Day theme for 2022 is #BreakTheBias. -
United States
Nasdaq Uses AWS to Pioneer Stock Exchange Data Storage in the Cloud
Nasdaq uses a data lake based on Amazon S3 and Amazon Redshift to ingest 70 billion records per day, load market data 5 hours faster, and run Amazon Redshift queries 32 percent faster. -
United States
Fireside Chat: ISVs, Confluent, Nasdaq, and Infor Discuss How They’ve Helped Their Customers Grow and Transform Their Businesses
Nasdaq, a global technology company, co-designed an edge compute platform with AWS that can be packaged and tailored for ultra-low-latency capital markets use cases.