Nasdaq usa a AWS para tornar-se pioneira no armazenamento de dados de bolsas de valores na nuvem

2020

A Nasdaq é uma empresa multinacional de tecnologia e serviços financeiros que detém e opera a Bolsa de Valores Nasdaq. A Nasdaq opera um total de 27 mercados, um depositário central de títulos mobiliários e um centro de coordenação em uma série de classes de ativos na América do Norte e na Europa. Ela é a base de quase 4.000 empresas de capital aberto globalmente em seus mercados e também fornece sua tecnologia essencial à missão para outros operadores de infraestrutura de mercado localizados em 50 países.

A Bolsa de Valores Nasdaq é a maior franquia em volume de ações em todo o mundo. Ela gerencia a conciliação de compradores e vendedores em alto volume e velocidade, ao mesmo tempo que fornece dados que alimentam a cotação de preços de ações nas negociações celebradas eletronicamente. A Nasdaq conta com uma aplicação interna para capturar e armazenar todos os dados cambiais protegidos. “Esses dados incluem ordens, cotações, negócios e cancelamentos”, diz Robert Hunt, vice-presidente de engenharia de software da Nasdaq. Toda noite, a Nasdaq recebe bilhões de registros que precisam ser carregados nos processos de faturamento e relatórios antes da abertura dos mercados na manhã seguinte.

O ritmo e o volume das transações aumentaram à medida que as plataformas de negociação automatizadas entraram no mercado. Em 2014, para aumentar a escala e a performance e reduzir os custos operacionais, a Nasdaq migrou de um data warehouse on-premises herdado para o data warehouse da Amazon Web Services (AWS) habilitado por um cluster do Amazon Redshift. Entre 2014 e 2018, esse cluster do Amazon Redshift aumentou para 70 nós à medida que a empresa expandia a solução para oferecer suporte a todos os seus mercados norte-americanos. Em 2018, a solução ingeriu dados do mercado financeiro provenientes de fontes no período noturno, variando de 30 a 55 bilhões de registros e ultrapassando 4 terabytes.

Com o tempo, o maior volume de dados levou a uma mudança na abordagem do gerenciamento desses dados para análise. O processamento noturno em lotes, executado no warehouse, criou desafios no processamento de enormes volumes para cumprir prazos rigorosos. Os usuários dependem dos dados para executar atividades de faturamento, relatórios e vigilância. “Quando a volatilidade do mercado aumentou no início de 2018, os volumes de dados do warehouse aumentou substancialmente, atingindo um pico de cerca de 55 bilhões de registros por dia em 2018”, diz Hunt.

Práticas de negociação mais sofisticadas levaram a um crescimento vultuoso nos dados e foi essencial que a Nasdaq começasse a planejar uma evolução para uma nova arquitetura a fim de continuar a alcançar os padrões de performance e a excelência operacional que o ecossistema espera. “Precisamos carregar e consumir os 30 bilhões de registros no intervalo entre o fechamento do mercado e a manhã seguinte. O carregamento dos dados atrasava a entrega dos nossos relatórios”, diz Hunt. “Precisávamos ser capazes de gravar ou carregar dados em nossa solução de armazenamento de dados com muita rapidez e, ao mesmo tempo, sem interferir na leitura e nas consultas dos dados.”

Nasdaq migra seu crescente data warehouse para uma arquitetura mais moderna de data lake (2:25)
kr_quotemark

Pudemos facilmente suportar o salto de 30 para 70 bilhões de registros por dia devido à flexibilidade e à escalabilidade do Amazon S3 e do Amazon Redshift.”

Robert Hunt
Vice-presidente de Engenharia de software, Nasdaq

Uso de serviços da AWS para obter flexibilidade, escalabilidade e performance

Em 2018, a Nasdaq optou por desenvolver a base de um novo data lake no Amazon Simple Storage Service (Amazon S3), o que permite que a empresa separe computação e armazenamento e escale cada função de forma independente. Em implantações de data warehouses tradicionais, escalar a capacidade de armazenamento quase sempre exige que as empresas escalem, ao mesmo tempo, a capacidade computacional, pois a aplicação e o armazenamento estão intimamente ligados, exigindo modificações de hardware no local em caso de qualquer alteração na proporção dos dois. “Além da flexibilidade que surge com a separação entre computação e armazenamento, o Amazon S3 apresenta propriedades de escalabilidade melhores para gravação e leitura simultâneas de grandes conjuntos de dados”, diz Hunt. “O Amazon S3 nos deu uma solução que permite zero contenção entre o carregamento dos dados e os processos de consulta”.

Ao integrar as políticas do AWS Identity and Access Management (AWS IAM), o Amazon S3 também fornece controle de acesso abrangente em todas as várias contas da AWS. Além disso, a Nasdaq usa o Amazon S3 para armazenar dados financeiros essenciais e movê-los para o Amazon S3 Glacier, onde eles podem ser arquivados por um custo mais baixo. A empresa confia no recurso Bloqueio de Objetos do Amazon S3 para fortalecer a conformidade.
 
Em janeiro de 2019, a Nasdaq participou de um AWS Data Lab, em que trabalhou com os arquitetos de soluções e especialistas em serviços de análise da AWS, que forneceram orientação prescritiva sobre a arquitetura para repensar como a Nasdaq implementou o data warehousing. No laboratório de quatro dias, a Nasdaq reformulou a entrega de análises usando o Amazon Redshift como uma camada de computação. Como resultado, a Nasdaq começou a usar o Amazon Redshift Spectrum, um recurso que permite a uma arquitetura de lake house consultar dados tanto no data warehouse quanto no data lake do Amazon S3. “Estamos colocando todos os dados originários de nossas operações cambiais operadas internamente no Amazon S3 e no Amazon Redshift Spectrum”, diz Hunt. “Isso inclui ordens, cancelamentos, cotações e negócios. Esses itens são transformados em mensagens e arquivados no Amazon S3, e essas mensagens orientam nossos processos de supervisão de faturamento e relatórios.”
 
O novo data lake contém 15 terabytes de dados no Amazon S3, que a Nasdaq pode consultar no local sem carregamento de dados imediatamente após gravar os dados no Amazon S3. Isso minimiza o tempo de obtenção de insights e permite que a equipe de pesquisa econômica da Nasdaq realize análise de dados e execute consultas complexas neles. Além disso, a equipe de negócios de vigilância da empresa consulta o data lake depois de receber consultas da Comissão de Valores Mobiliários (CVM) dos EUA.

O que começou como uma solução concentrada em performance tornou-se um data lake multiuso compartilhado entre equipes, gerando um benefício adicional para os negócios.

Escalabilidade para dar suporte a 70 bilhões de registros por dia

Com escalabilidade independente de computação e armazenamento, a Nasdaq agora pode flexibilizar sua camada de computação para dar suporte ao volume de transações, com o data lake desenvolvido no armazenamento do Amazon S3 oferecendo suporte aos dados que continuam a crescer em volume e complexidade. Por exemplo, a volatilidade do mercado atingiu um pico no final de fevereiro de 2020, no início da pandemia da COVID-19, e a solução foi escalada para dar suporte a uma ingestão de 70 bilhões de registros por dia, com um pico de volume na ordem de 113 bilhões.
 
“Pudemos facilmente absorver o salto de 30 para 70 bilhões de registros por dia devido à flexibilidade e à escalabilidade do Amazon S3 e do Amazon Redshift”, diz Hunt. “Acompanhamos o ritmo do pico nos volumes de dados e fornecemos os processos necessários de vigilância, relatórios e faturamento para cumprimento das nossas obrigações com o mercado.” A Nasdaq também pode reduzir a escala de seu ambiente na vertical com facilidade e rapidez para garantir que não haja capacidade ociosa quando o mercado se ajustar novamente.

Redução de 5 horas no carregamento dos dados do mercado para relatórios

Usando sua nova arquitetura de lake house baseada no Amazon S3 e no Amazon Redshift, a Nasdaq está atingindo sua marca de 90% na conclusão do carregamento de dados 5 horas antes do normal. Além disso, ao otimizar seu data warehouse, a empresa foi capaz de acelerar em 32% a execução de consultas do Amazon Redshift. “Essas melhorias nos ajudaram a acelerar nossos processos de faturamento e relatórios”, diz Hunt. “Por exemplo, terminamos de ingerir dados uma ou duas horas após o fechamento do mercado, o que nos proporciona uma vantagem no faturamento e nos relatórios. Isso ajuda muito quando estamos lidando com os picos de volume que percebemos recentemente, como também nos ajuda a cumprir ou antecipar nossos prazos para nossos clientes internos.”
 
Com o tempo,o Amazon S3 e o data lake do Amazon Redshift permitiram a transformação na Nasdaq. “Estamos livres para nos concentrarmos em nossa especialidade a fim de inovar para a Nasdaq, enquanto recorremos à AWS para fornecer conhecimento em nuvem”, diz Hunt. “Futuramente, continuaremos a aproveitar os novos serviços e as tecnologias da AWS de acordo com as exigências do mercado.”

Sobre a Nasdaq

Fundada em 1971 e sediada em Nova York, a Nasdaq é uma empresa multinacional de serviços financeiros que detém e comanda o mercado de ações Nasdaq e oito bolsas de valores europeias. A empresa é a base de quase 4.000 empresas de capital aberto, localizadas em 50 países.

Benefícios da AWS

  • Ingere 70 bilhões de registros por dia
  • Carrega dados do mercado financeiro 5 horas mais rápido
  • Executa consultas do Amazon Redshift 32% mais rápido
  • Permite a transformação de negócios com dados compartilhados
  • Estimula a inovação com casos de uso adicionais


Serviços da AWS usados

Amazon Simple Storage Service

O Amazon Simple Storage Service (Amazon S3) é um serviço de armazenamento de objetos que oferece escalabilidade, disponibilidade de dados, segurança e performance líderes do setor.

Saiba mais »

Amazon Redshift

O Amazon Redshift oferece o melhor dos data warehouses de alta performance com a flexibilidade e a escalabilidade ilimitadas do armazenamento de data lake.

Saiba mais »

AWS Identity and Access Management

O AWS Identity and Access Management (IAM) permite que você gerencie com segurança o acesso aos serviços e recursos da AWS.

Saiba mais »

Amazon S3 Glacier

O Amazon S3 Glacier e o S3 Glacier Deep Archive são classes de armazenamento na nuvem do Amazon S3 seguro, resiliente e de custo extremamente baixo para arquivamento de dados e backups em longo prazo.

Saiba mais »

Mais histórias da Nasdaq

nenhum item encontrado 

1

Comece a usar

Organizações de todos os portes, em todos os setores, estão transformando seus negócios e cumprindo suas missões todos os dias usando a AWS. Entre em contato com nossos especialistas e comece sua própria jornada para a AWS hoje mesmo.