Como a Dow Jones modernizou o seu armazenamento de dados

Por Matt Asay

Por Vinte anos em sua plataforma de dados de mercado, a Dow Jones, uma das maiores empresas de notícias financeiras e de negócios do mundo, precisava modernizar o seu armazenamento de banco de dados. A equipe de dados de mercado da Dow Jones foi encarregada de cortar os custos dispendiosos de licenciamento de SQL on-premises e, se possível, fechar servidores de banco de dados on-premises e migrar para a nuvem.

A Dow Jones queria andar mais rápido do que os dois anos estimados que eles esperavam que levaria para concluir uma migração, com os níveis de funcionários disponíveis na equipe de dados de mercado.

Embora a tarefa de migrar dados de mercado entre WSJ.com, Factiva.com, MarketWatch.com e Barrons.com parecesse intimidadora, em parceria com a AWS, a Dow Jones conseguiu migrar a sua plataforma de dados de mercado de uma solução SQL on-premises para o Amazon Aurora quase duas semanas antes do previsto, reduzindo simultaneamente os custos em mais de 50%. Vejamos como eles fizeram isso.

Corrida contra o relógio

Inicialmente, a equipe da Dow Jones tentou encarar a modernização como um esforço incremental. Havia muitas outras prioridades que disputavam a atenção e o projeto de modernização era considerado “importante”, mas não crucial ainda. A empresa, no entanto, estava interessada em reduzir a sua definição de preço de dados de mercado. Para conseguir isso, teriam de reduzir drasticamente os custos de licenciamento de banco de dados, fosse mudando para um banco de dados de código aberto, on-premises ou transferindo o ônus das operações de banco de dados para a AWS.

Essa decisão foi complicada pelo tempo. Com base em experiência anterior, assumiram que precisariam dobrar o tamanho da sua equipe a fim de gerenciar a migração e, assim mesmo, precisariam de pelo menos dois anos para concluir a tarefa. Devido a alterações contratuais, contudo, a equipe de dados de mercado tinha apenas um ano para migrar dos servidores SQL on-premises para o seu novo banco de dados de destino.

Para ajudar a determinar o melhor curso de ação, a equipe de engenharia de dados de mercado estabeleceu cinco critérios de sucesso:

1. Entrega no prazo.
2. Mínimo de interrupção para os clientes.
3. Precisão de dados (isto é, as notícias e a precisão de dados são a pedra angular da Dow Jones).
4. Otimização de custos (isto é, não queriam expandir significativamente a equipe, porque toda a premissa da atividade era a redução dos gastos e, de qualquer forma, não teriam conseguido fazer com que os novos funcionários fossem preparados em tempo).
5. Utilização ótima de mão-de-obra (isto é, tinham um número limitado de engenheiros e queriam fazer uso eficiente deles).

Tendo em conta esses cinco critérios, a equipe decidiu que a solução ideal seria adotar a nuvem com a AWS. A AWS ofereceu à Dow Jones uma forma de migrar todos os dados confidenciais dos servidores SQL on-premises para o Amazon Aurora MySQL sem interrupção das aplicações existentes, garantindo ao mesmo tempo que a empresa pudesse reduzir custos e fazer um uso mais eficiente do número de funcionários existente.

Quanto dinheiro economizaram? Ao migrar para o Amazon Aurora, os custos foram reduzidos pela metade ao se considerar os custos de hardware, licenciamento, manutenção, espaço em rack e energia. Mas não foi apenas isso que economizaram: “Ao transferir grande parte da sobrecarga operacional para a AWS e eliminar completamente a necessidade de gerenciar armazenamento, o Amazon Aurora libera fundos para inovação”, disse Ramin Beheshti, diretor de produtos e tecnologia da Dow Jones.

Mas como chegaram lá?

O processo de modernização

De acordo com Luke Sawatsky, gerente de engenharia de software da Dow Jones, a migração do servidor SQL on-premises para o Amazon Aurora foi um processo “fácil”. Primeiro, a Dow Jones trabalhou com a AWS na execução de uma Well Architected Review (WAR) a fim de reduzir a complexidade em sua infraestrutura geral.

A Dow Jones recebia e processava dezenas de milhares de mensagens por segundo de cinco provedores de dados diferentes. Durante um grande evento no mercado, tal tráfego podia ser de 3 a 4 vezes maior. Antes da modernização, a empresa contava com uma configuração on-premises composta por 16 servidores de banco de dados, com quatro mestres espelhados entre datacenters, ao passo que o restante era dividido em distribuidores e assinantes, para processar símbolos para cada empresa, preços etc. Tudo considerado, toda a plataforma de dados de mercado da Dow Jones rodava em aproximadamente 200 servidores, todos on-premises e divididos em dois datacenters.

A Dow Jones consolidou alguns desses feeds de dados a fim de simplificar a sua arquitetura, mas era necessário fazer mais. Ao usar a AWS Schema Conversion Tool e o AWS Database Migration Service para migrar dados continuamente de servidores SQL on-premises para o Amazon Aurora MySQL, assim como posicionar servidores NGINX entre os seus clientes de dados e serviços MarketData, a Dow Jones conseguiu migrar todo o tráfego de cliente para as suas APIs na nuvem, reduzindo o tempo necessário para a migração do AWS Aurora MySQL para oito horas em um único sábado, em vez de meses. Os servidores NGINX garantiram um serviço ininterrupto para os clientes, passando as solicitações dos clientes através dos servidores locais herdados para a AWS. Em segundo plano, a Dow Jones mudou para uma arquitetura de banco de dados significativamente simplificada, apresentando um cluster global com uma instância de escritas e cinco réplicas de leitura na Região de Virgínia e seis réplicas de leitura na Região de Ohio – mais próximas de seus provedores de dados. Todas com capacidade de fazer o failover da instância de escrita para regiões opostas.

As melhorias na arquitetura não pararam por aí. Após a migração, a Dow Jones foi capaz de usar o Amazon Cloudwatch, um serviço de observabilidade, a fim de reavaliar a sua infraestrutura. Logo perceberam que as instâncias nas quais operavam eram muito grandes para as suas necessidades: usavam apenas 3% da CPU e 40% da memória. Reduziram adequadamente as suas instâncias e/ou o número de instâncias, “o que foi uma atividade bem simples com a qual a Amazon ajudou bastante”, disse Sawatsky. Depois dos ajustes, reduziram os seus gastos semanais em mais de 50%. Também começaram a usar mais serviços da AWS, incluindo o Amazon Elasticache, “implementando mais coisas na nuvem, mas reduzindo os nossos custos”.

O resultado?

“Para a surpresa de nossa liderança, nossa equipe conseguiu entregar esse projeto 12 dias antes do previsto. Não houve absolutamente nenhuma interrupção de serviço para os clientes — fomos capazes de continuar a fornecer dados de mercado com precisão em todos os nossos sites e publicações. Também não tivemos problemas relacionados à qualidade: os dados estiveram precisos o tempo todo. Houve uma enorme economia na infraestrutura on-premises que agora estamos utilizando para outros propósitos em outras partes da Dow Jones”, afirma Mona Soni, VP de engenharia.

Mais por vir

Para ver como a sua organização também pode economizar dinheiro e melhorar o desempenho, continue comigo, enquanto destaco empresas em seu processo de modernização ligado à AWS. Ao fazer isso, espero que você também faça a pergunta: qual é o seu plano para sair do Microsoft SQL Server? Ou do Oracle? Ou qualquer tecnologia da velha guarda que impeça você de se modernizar a fim de cuidar melhor dos seus clientes?

Como fez a Dow Jones, deixe que a AWS o ajude a avaliar como a sua empresa pode tirar o maior proveito da nuvem. Junte-se a todos os clientes da AWS que confiam em nós para executar suas aplicações mais importantes na melhor nuvem. Para que possamos criar uma avaliação para suas aplicações que usam o Microsoft SQL Server ou todas as suas aplicações, envie um e-mail para WhatsYourModernizationPlan@amazon.com e considere juntar-se à discussão usando a hashtag #WhatsYourModernizationPlan.

Para aprender mais sobre modernização do Windows Server ou do SQL Server, visite Windows on AWS.

Este artigo foi traduzido do Blog da AWS em Inglês.

Sobre o autor

Matt Asay (pronuncia-se “Ai-sii”) está envolvido em código aberto e tudo o que ele possibilita (nuvem, machine learning, infraestrutura de dados, dispositivos móveis etc.) há quase duas décadas, trabalhando para uma variedade de empresas de código aberto e escrevendo regularmente para a InfoWorld e TechRepublic. Você pode segui-lo no Twitter (@mjasay).

Sobre o revisor

Murilo Nascimento é um arquiteto de soluções da AWS que trabalha no desenvolvimento dos parcerios AWS. Especialista em tecnologias de bancos de dados, gosta muito de estudar sobre o tema e gosta mais ainda de compartilhar o que aprende com outras pessoas.