Mercado Livre escala seus negócios e aprimora a confiabilidade com a migração de 5 mil bancos de dados para o Amazon DynamoDB

Fundada na Argentina em 1999, o Mercado Livre conta com dois negócios principais: comércio eletrônico e fintech. Nessas esferas, a empresa oferece muitos serviços, como um mercado online, um sistema de pagamento digital, publicidade, logística e ofertas de crédito. Seu objetivo subjacente é democratizar o comércio, os pagamentos e o dinheiro para fazer a diferença na vida de milhões de pessoas na América Latina.

No início, o Mercado Livre desenvolvia suas soluções em uma nuvem privada virtual, e cada equipe interna era responsável por sua própria infraestrutura, aplicações e manutenção. Equipes individuais determinavam, por exemplo, quais tipos de banco de dados usar. Embora tenha sido fundamental para um crescimento rápido no início, à medida que o número de equipes crescia e o tráfego aumentava, a variedade de pilhas de tecnologia passou a dificultar a sustentação do crescimento. A empresa desenvolveu para suas equipes uma nova solução contendo um kit de desenvolvimento de software proprietário e APIs personalizadas. Para bancos de dados NoSQL, em vez de fornecer acesso direto a qualquer solução, a empresa desenvolveu uma camada de abstração para que todas as equipes falassem a mesma língua. Inicialmente, o Mercado Livre desenvolveu sua abstração de banco de dados principal de chave-valor sobre um mecanismo de banco de dados de código aberto autogerenciado, uma solução que aumentou para 5 mil bancos de dados.

Porém, ao longo do tempo, a empresa percebeu que o mecanismo selecionado não estava fornecendo todos os recursos necessários. Além disso, gerenciar mais de 30 clusters exigia manutenção frequente, resultando em tempos limite, erros e incidentes de tempo de inatividade. No início de 2019, o Mercado Livre começou a migrar para o Amazon DynamoDB. “Com a confiabilidade do Amazon DynamoDB, podemos evitar o custo do tempo de inatividade”, diz Oscar Mullin, diretor de TI do Mercado Livre e diretor de serviços essenciais, engenharia de confiabilidade do site e administração de banco de dados. Usando a abstração comum a seu favor, a empresa migrou 5 mil bancos de dados sem necessitar que ninguém da organização alterasse uma única linha de código ou o roteiro de negócios.

A empresa usou o Amazon DynamoDB juntamente com outros produtos da AWS que o Mercado Livre usava para executar suas aplicações essenciais à missão e aos negócios, como o Amazon Elastic Compute Cloud (Amazon EC2), um serviço da Web que fornece capacidade computacional segura e redimensionável na nuvem, e o Amazon Simple Storage Service (Amazon S3), um serviço de armazenamento de objetos que oferece escalabilidade, disponibilidade de dados, segurança e performance líderes do setor.

Utilizando a capacidade combinada das soluções da AWS, o Mercado Livre conseguiu lidar com todas as suas necessidades de escalabilidade sem afetar a performance. Antes, a empresa passava um tempo considerável se preparando para eventos de escala, como feriados, e a escalabilidade era complexa. E como resultado de eventos inesperados, como a pandemia da COVID-19, mais pessoas recorreram ao comércio eletrônico e aos pagamentos digitais, o que aumentou consideravelmente o tráfego do Mercado Livre. Como parte de sua missão de inclusão, o Mercado Livre buscava usar a AWS para ampliar suas ofertas para mais pequenas empresas. “Ter aplicações essenciais usando nossa abstração baseada no Amazon DynamoDB foi fundamental”, afirma Mullin. “Lidar com esse aumento de tráfego e manter o nível de disponibilidade seria extremamente complexo de outra forma.” Os recursos de escalabilidade automática do Amazon DynamoDB também comprovaram ter um valor incalculável quando a empresa precisou reduzir a escala, ajudando a evitar capacidade não utilizada, diminuir o desperdício e cortar custos. “Diferentemente de nossas soluções anteriores, a redução de escala no Amazon DynamoDB é extremamente simples”, afirma Mullin.

A arquitetura de várias regiões da AWS com suporte do Amazon DynamoDB também soluciona problemas de disponibilidade para o Mercado Livre. Em vez de precisar transferir dados encontrados em tabelas separadas, a empresa usa tabelas globais do Amazon DynamoDB, que replicam tabelas automaticamente nas regiões escolhidas pela empresa para fornecer tolerância multirregional a falhas. Esse banco de dados totalmente gerenciado, multirregional e multiativo ajuda a fornecer performance rápida e local de leitura e gravação para milhões de clientes espalhados pelo mundo. “Temos a capacidade de ser multirregionais com um único clique”, afirma Mullin. “E todos os nossos dados históricos são movidos para as outras regiões automaticamente.” As alterações de uma tabela se propagam perfeitamente para as outras regiões, economizando tempo para a empresa. Não importa onde estejam, os usuários podem acessar dados com baixa latência. Na verdade, o 99.º percentil de latência combinada de leituras de API e do Amazon DynamoDB é de apenas 6 ms para solicitações de leitura. E mesmo que as solicitações atinjam uma taxa de 300 milhões por minuto, a latência não é afetada. Além disso, o Mercado Livre não precisa mais navegar por processos complexos apenas para obter um backup diário, pois o Amazon DynamoDB oferece recuperação em um ponto anterior no tempo para backups automáticos e contínuos.

A metologia de serviços do Mercado Livre inclui a criação de serviços inter-relacionados que fornecem aos desenvolvedores integrações transparentes e mais simples possíveis. Para atingir essa integração com o armazenamento de chave-valor, o Mercado Livre recorreu ao Amazon DynamoDB Streams, que captura uma sequência ordenada de modificações em nível de item de qualquer tabela do Amazon DynamoDB e armazena as informações em um log por 24 horas. Além disso, o DynamoDB Streams funciona com o Amazon DynamoDB removendo automaticamente informações irrelevantes das tabelas, tudo isso sem custo adicional. O Mercado Livre pode usar o Amazon DynamoDB para excluir esses itens expirados usando a validade da vida útil, que remove itens indesejados ou irrelevantes em segundo plano sem consumir throughput de gravação. E usando o DynamoDB Streams, a empresa consegue capturar essas exclusões e fazer backup ou processar os dados à medida que expiram. “O DynamoDB Streams é um recurso eficaz”, afirma Mullin. “Usar seus recursos automatizados elimina a necessidade de realizarmos diversas tarefas por conta própria, o que é um processo complexo e propenso a erros.”

Embora o Mercado Livre tenha escolhido originalmente o Amazon DynamoDB como uma forma de aliviar a sobrecarga operacional e oferecer suporte a uma escala massiva, seus desenvolvedores continuam descobrindo novos recursos e impulsionando a capacidade da empresa de inovar e de continuar crescendo na América Latina. “Ao analisarmos alternativas para nossa configuração anterior, de acordo com nossas necessidades, o Amazon DynamoDB claramente foi o vencedor para nós”, afirma Mulin. “E continuamos obtendo valor com isso ao criar novas abstrações, como índices secundários ou recursos de segurança.”