nasdaq-200x70

Nasdaq usa a AWS para tornar-se pioneira no armazenamento de dados de bolsas de valores na nuvem

2020

A Nasdaq é uma empresa multinacional de tecnologia e serviços financeiros que detém e comanda a Bolsa de Valores Nasdaq. A Nasdaq opera um total de 27 mercados, um depositário central de títulos mobiliários e um centro de coordenação em uma série de classes de ativos na América do Norte e na Europa. É a base de quase 4.000 empresas de capital aberto no mundo em seus mercados e também fornece tecnologia essencial à missão a outros operadores de infraestrutura de mercado localizados em 50 países.

A Bolsa de Valores Nasdaq é a maior franquia de títulos por volume do mundo e gerencia a interação entre compradores e vendedores em alto volume e velocidade, enquanto fornece dados para cotações de preços das ações em negócios realizados eletronicamente. A Nasdaq conta com uma aplicação interna para capturar e armazenar todos os dados cambiais protegidos. “Esses dados incluem ordens, cotações, negócios e cancelamentos”, diz Robert Hunt, vice-presidente de engenharia de software da Nasdaq. Todas as noites, a Nasdaq recebe bilhões de registros que precisam ser carregados para processos de faturamento e relatórios antes que os mercados abram na manhã seguinte.

Com a entrada de plataformas de negócios automatizadas no mercado, o ritmo e o volume das transações aumentaram. Em 2014, para aumentar a escala e a performance e reduzir os custos operacionais, a Nasdaq migrou de um data warehouse on-premise herdado para o data warehouse da Amazon Web Services (AWS) habilitado por um cluster do Amazon Redshift. Entre 2014 e 2018, esse cluster do Amazon Redshift aumentou para 70 nós à medida que a empresa expandia a solução para oferecer suporte a todos os seus mercados norte-americanos. Em 2018, a solução ingeriu dados do mercado financeiro de milhares de fontes por noite, variando de 30 bilhões a 55 bilhões de registros, ultrapassando 4 terabytes.

Ao longo do tempo, o crescimento dos dados ocasionou uma mudança na abordagem de gerenciamento desses dados para análise. O processamento noturno de lotes, executado no warehouse, criou desafios no processamento de enormes volumes para cumprir prazos rigorosos. Os usuários dependem dos dados para executar atividades de faturamento, relatórios e vigilância. “Quando o mercado tornou-se mais volátil no início de 2018, os volumes de dados para o warehouse aumentaram substancialmente, atingindo cerca de 55 bilhões de registros por dia em 2018”, diz Hunt.

Práticas de negócios mais sofisticadas geraram um crescimento estrondoso dos dados, e era essencial que a Nasdaq começasse a planejar a adoção de uma nova arquitetura a fim de continuar a atingir os padrões de performance e excelência operacional esperados pelo ecossistema. “Precisamos carregar e consumir os 30 bilhões de registros no intervalo entre o fechamento do mercado e a manhã seguinte. O carregamento dos dados atrasava a entrega dos nossos relatórios”, diz Hunt. “Precisávamos ser capazes de gravar ou carregar dados em nossa solução de armazenamento de dados com muita rapidez e, ao mesmo tempo, sem interferir na leitura e nas consultas dos dados.”

Nasdaq migra seu crescente data warehouse para uma arquitetura mais moderna de data lake (2:25)
kr_quotemark

Pudemos facilmente suportar o salto de 30 para 70 bilhões de registros por dia devido à flexibilidade e à escalabilidade do Amazon S3 e do Amazon Redshift.”

Robert Hunt
Vice-presidente de engenharia de software, Nasdaq

Uso de serviços da AWS para obter flexibilidade, escalabilidade e performance

Em 2018, a Nasdaq optou por desenvolver a base de um novo data lake no Amazon Simple Storage Service (Amazon S3), o que permite que a empresa separe computação e armazenamento e escale cada função de forma independente. Em implantações de data warehouses tradicionais, escalar a capacidade de armazenamento quase sempre exige que as empresas escalem, ao mesmo tempo, a capacidade computacional, pois a aplicação e o armazenamento estão intimamente ligados, exigindo modificações de hardware no local em caso de qualquer alteração na proporção dos dois. “Além da flexibilidade que surge com a separação entre computação e armazenamento, o Amazon S3 apresenta propriedades de escalabilidade melhores para gravação e leitura simultâneas de grandes conjuntos de dados”, diz Hunt. “O Amazon S3 nos proporcionou uma solução que permite contenção zero entre os processos de carregamento de dados e consultas.”

Ao integrar políticas do AWS Identity and Access Management (AWS IAM), o Amazon S3 também proporciona um controle de acesso completo entre várias contas da AWS. Além disso, a Nasdaq usa o Amazon S3 para armazenar dados financeiros essenciais e movê-los para o Amazon S3 Glacier, onde eles podem ser arquivados por um custo mais baixo. A empresa conta com o recurso Amazon S3 Object Lock para viabilizar ainda mais a conformidade.
 
Em janeiro de 2019, a Nasdaq participou de um AWS Data Lab, onde trabalhou com arquitetos de soluções da AWS e especialistas em serviços de análise que forneceram orientações sobre arquitetura prescritiva com o objetivo de repensar a forma como a Nasdaq implementava o data warehousing. No laboratório de quatro dias, a Nasdaq reformulou a entrega de análises usando o Amazon Redshift como uma camada de computação. Como resultado, a Nasdaq começou a usar o Amazon Redshift Spectrum, um recurso que permite a uma arquitetura de lake house consultar dados tanto no data warehouse quanto no data lake do Amazon S3. “Estamos colocando todos os dados originários de nossas operações cambiais operadas internamente no Amazon S3 e no Amazon Redshift Spectrum”, diz Hunt. “Isso inclui ordens, cancelamentos, cotações e negócios. Eles são transformados em mensagens e arquivados no Amazon S3, e essas mensagens comandam nossos processos de vigilância de relatórios e faturamento downstream.”
 
O novo data lake contém 15 terabytes de dados no Amazon S3, que a Nasdaq pode consultar no local, sem carregá-los e logo depois de gravá-los no Amazon S3. Isso minimiza o tempo de obtenção de insights e permite que a equipe de pesquisa econômica da Nasdaq realize análise de dados e execute consultas complexas neles. Além disso, a equipe de negócios de vigilância da empresa consulta o data lake depois de receber consultas da Comissão de Valores Mobiliários (CVM) dos EUA.

O que começou como uma solução concentrada em performance tornou-se um data lake multiuso compartilhado entre equipes, gerando um benefício adicional para os negócios.

Escalabilidade para suportar 70 bilhões de registros por dia

Com escalabilidade independente de computação e armazenamento, a Nasdaq agora pode flexibilizar sua camada de computação para suportar o volume de transações, com o data lake desenvolvido no armazenamento do Amazon S3 oferecendo suporte aos dados que continuam a crescer em volume e complexidade. Por exemplo, a volatilidade do mercado apresentou um pico em fevereiro de 2020, no início da pandemia de COVID-19, e a solução foi escalada para suportar uma ingestão de 70 bilhões de registros por dia, com um pico de 113 bilhões.
 
“Nós conseguimos acomodar o salto de 30 para 70 bilhões de registros por dia devido à flexibilidade e à escalabilidade do Amazon S3 e do Amazon Redshift”, diz Hunt. “Acompanhamos o ritmo do pico nos volumes de dados e fornecemos os processos necessários de vigilância, relatórios e faturamento para cumprimento das nossas obrigações com o mercado.” A Nasdaq também pode reduzir seu ambiente com facilidade e rapidez para garantir que não haja capacidade ociosa quando o mercado se ajustar novamente.

Carregamento 5 horas mais rápido dos dados do mercado para relatórios

Usando sua nova arquitetura de lake house baseada no Amazon S3 e no Amazon Redshift, a Nasdaq está atingindo sua marca de 90% na conclusão do carregamento de dados 5 horas antes do normal. Além disso, ao otimizar seu data warehouse, a empresa foi capaz de acelerar em 32% a execução de consultas do Amazon Redshift. “Essas melhorias nos ajudaram a acelerar nossos processos de faturamento e relatórios”, diz Hunt. “Por exemplo, terminamos de ingerir dados uma ou duas horas após o fechamento do mercado, o que nos proporciona uma vantagem no faturamento e nos relatórios. Isso nos ajuda imensamente ao lidarmos com os picos de volume observados recentemente e também nos ajuda a cumprir ou antecipar os prazos para nossos clientes internos.”
 
Com o tempo, o data lake do Amazon S3 e do Amazon Redshift possibilitou a transformação na Nasdaq. “Estamos livres para nos concentrarmos em nossa especialidade a fim de inovar para a Nasdaq, enquanto recorremos à AWS para fornecer conhecimento em nuvem”, diz Hunt. “Futuramente, continuaremos a aproveitar os novos serviços e as tecnologias da AWS de acordo com as exigências do mercado.”

Sobre a Nasdaq

Fundada em 1971 e sediada em Nova York, a Nasdaq é uma empresa multinacional de serviços financeiros que detém e comanda o mercado de ações Nasdaq e oito bolsas de valores europeias. A empresa é a base de quase 4.000 empresas de capital aberto, localizadas em 50 países.

Benefícios da AWS

  • Ingere 70 bilhões de registros por dia
  • Carrega dados do mercado financeiro 5 horas mais rápido
  • Acelera em 32% a execução de consultas do Amazon Redshift
  • Possibilita a transformação dos negócios com dados compartilhados
  • Estimula a inovação com casos de uso adicionais


Serviços da AWS usados

Amazon Simple Storage Service

O Amazon Simple Storage Service (Amazon S3) é um serviço de armazenamento de objetos que oferece escalabilidade, disponibilidade de dados, segurança e performance líderes do setor.

Saiba mais »

Amazon Redshift

O Amazon Redshift oferece o melhor dos data warehouses de alta performance com a flexibilidade e a escalabilidade ilimitadas do armazenamento de data lake.

Saiba mais »

AWS Identity and Access Management

O AWS Identity and Access Management (IAM) permite gerenciar com segurança o acesso aos serviços e aos recursos da AWS.

Saiba mais »

Amazon S3 Glacier

O Amazon S3 Glacier e o S3 Glacier Deep Archive são classes de armazenamento em nuvem do Amazon S3 seguras, resilientes e extremamente econômicas para arquivamento de dados e backup de longo prazo.

Saiba mais »


Comece a usar

Empresas de diferentes portes em todos os setores transformam os negócios diariamente com a AWS. Fale com nossos especialistas e comece sua própria jornada para a Nuvem AWS hoje mesmo.