Histórias de clientes/Varejo e atacado

2021
Logo Mercado Livre

Mercado Livre escala seus negócios e aprimora a confiabilidade com a migração de 5 mil bancos de dados para o Amazon DynamoDB

A empresa de comércio eletrônico Mercado Livre migrou 5 mil bancos de dados para o Amazon DynamoDB como parte de uma atualização de infraestrutura na AWS, usando escalabilidade automática para oferecer suporte ao crescimento da empresa e gerar economia de custos.

Incidentes reduzidos

ao fornecer recursos de escalabilidade automática

Custos reduzidos

ao fornecer recursos simples de redução de escalabilidade

6 ms

de latência combinada para o 99.º percentil de solicitações de leitura

Atualização

da confiabilidade dos bancos de dados

Arquitetura multirregional

para maior disponibilidade

Visão geral

Para comportar um aumento contínuo de tráfego e de armazenamento e ampliar seu compromisso de ser uma organização orientada por dados, o Mercado Livre decidiu que a Amazon Web Services (AWS) era, para milhares de bancos de dados, sua melhor opção para obter a performance em escala, sobretudo por causa dos serviços de banco de dados gerenciados que a AWS oferece.

Como parte da reformulação da empresa, uma equipe de seis engenheiros do Mercado Livre realizou a migração de 5 mil bancos de dados para o Amazon DynamoDB, um serviço de banco de dados NoSQL rápido e flexível que oferece performance de milissegundos de dígito único em qualquer escala. Com a nova solução, a empresa economizou tempo dos desenvolvedores, aprimorou a confiabilidade e reduziu os custos.

Oportunidade | Desenvolvimento de uma infraestrutura mais confiável na AWS

Fundada na Argentina em 1999, o Mercado Livre conta com dois negócios principais: comércio eletrônico e fintech. Nessas esferas, a empresa oferece muitos serviços, como um mercado online, um sistema de pagamento digital, publicidade, logística e ofertas de crédito. Seu objetivo subjacente é democratizar o comércio, os pagamentos e o dinheiro para fazer a diferença na vida de milhões de pessoas na América Latina.

No início, o Mercado Livre desenvolvia suas soluções em uma nuvem privada virtual, e cada equipe interna era responsável por sua própria infraestrutura, aplicações e manutenção. Equipes individuais determinavam, por exemplo, quais tipos de banco de dados usar. Embora tenha sido fundamental para um crescimento rápido no início, à medida que o número de equipes crescia e o tráfego aumentava, a variedade de pilhas de tecnologia passou a dificultar a sustentação do crescimento. A empresa desenvolveu para suas equipes uma nova solução contendo um kit de desenvolvimento de software proprietário e APIs personalizadas. Para bancos de dados NoSQL, em vez de fornecer acesso direto a qualquer solução, a empresa desenvolveu uma camada de abstração para que todas as equipes falassem a mesma língua. Inicialmente, o Mercado Livre desenvolveu sua abstração de banco de dados principal de chave-valor sobre um mecanismo de banco de dados de código aberto autogerenciado, uma solução que aumentou para 5 mil bancos de dados.

Porém, ao longo do tempo, a empresa percebeu que o mecanismo selecionado não estava fornecendo todos os recursos necessários. Além disso, gerenciar mais de 30 clusters exigia manutenção frequente, resultando em tempos limite, erros e incidentes de tempo de inatividade. No início de 2019, o Mercado Livre começou a migrar para o Amazon DynamoDB. “Com a confiabilidade do Amazon DynamoDB, podemos evitar o custo do tempo de inatividade”, diz Oscar Mullin, diretor de TI do Mercado Livre e diretor de serviços essenciais, engenharia de confiabilidade do site e administração de banco de dados. Usando a abstração comum a seu favor, a empresa migrou 5 mil bancos de dados sem necessitar que ninguém da organização alterasse uma única linha de código ou o roteiro de negócios.

A empresa usou o Amazon DynamoDB juntamente com outros produtos da AWS que o Mercado Livre usava para executar suas aplicações essenciais à missão e aos negócios, como o Amazon Elastic Compute Cloud (Amazon EC2), um serviço da Web que fornece capacidade computacional segura e redimensionável na nuvem, e o Amazon Simple Storage Service (Amazon S3), um serviço de armazenamento de objetos que oferece escalabilidade, disponibilidade de dados, segurança e performance líderes do setor.

kr_quotemark

Ao analisarmos alternativas para nossa configuração anterior, de acordo com nossas necessidades, o Amazon DynamoDB claramente se destacou para nós. E continuamos obtendo valor dele.”

Oscar Mullin
Diretor de TI e diretor de serviços essenciais, engenharia de confiabilidade do site e administração de banco de dados, Mercado Livre

Solução | Simplificação do gerenciamento de dados com o Amazon DynamoDB

Utilizando a capacidade combinada das soluções da AWS, o Mercado Livre conseguiu lidar com todas as suas necessidades de escalabilidade sem afetar a performance. Antes, a empresa passava um tempo considerável se preparando para eventos de escala, como feriados, e a escalabilidade era complexa. E como resultado de eventos inesperados, como a pandemia da COVID-19, mais pessoas recorreram ao comércio eletrônico e aos pagamentos digitais, o que aumentou consideravelmente o tráfego do Mercado Livre. Como parte de sua missão de inclusão, o Mercado Livre buscava usar a AWS para ampliar suas ofertas para mais pequenas empresas. “Ter aplicações essenciais usando nossa abstração baseada no Amazon DynamoDB foi fundamental”, afirma Mullin. “Lidar com esse aumento de tráfego e manter o nível de disponibilidade seria extremamente complexo de outra forma.” Os recursos de escalabilidade automática do Amazon DynamoDB também comprovaram ter um valor incalculável quando a empresa precisou reduzir a escala, ajudando a evitar capacidade não utilizada, diminuir o desperdício e cortar custos. “Diferentemente de nossas soluções anteriores, a redução de escala no Amazon DynamoDB é extremamente simples”, afirma Mullin.

A arquitetura de várias regiões da AWS com suporte do Amazon DynamoDB também soluciona problemas de disponibilidade para o Mercado Livre. Em vez de precisar transferir dados encontrados em tabelas separadas, a empresa usa tabelas globais do Amazon DynamoDB, que replicam tabelas automaticamente nas regiões escolhidas pela empresa para fornecer tolerância multirregional a falhas. Esse banco de dados totalmente gerenciado, multirregional e multiativo ajuda a fornecer performance rápida e local de leitura e gravação para milhões de clientes espalhados pelo mundo. “Temos a capacidade de ser multirregionais com um único clique”, afirma Mullin. “E todos os nossos dados históricos são movidos para as outras regiões automaticamente.” As alterações de uma tabela se propagam perfeitamente para as outras regiões, economizando tempo para a empresa. Não importa onde estejam, os usuários podem acessar dados com baixa latência. Na verdade, o 99.º percentil de latência combinada de leituras de API e do Amazon DynamoDB é de apenas 6 ms para solicitações de leitura. E mesmo que as solicitações atinjam uma taxa de 300 milhões por minuto, a latência não é afetada. Além disso, o Mercado Livre não precisa mais navegar por processos complexos apenas para obter um backup diário, pois o Amazon DynamoDB oferece recuperação em um ponto anterior no tempo para backups automáticos e contínuos.

A metologia de serviços do Mercado Livre inclui a criação de serviços inter-relacionados que fornecem aos desenvolvedores integrações transparentes e mais simples possíveis. Para atingir essa integração com o armazenamento de chave-valor, o Mercado Livre recorreu ao Amazon DynamoDB Streams, que captura uma sequência ordenada de modificações em nível de item de qualquer tabela do Amazon DynamoDB e armazena as informações em um log por 24 horas. Além disso, o DynamoDB Streams funciona com o Amazon DynamoDB removendo automaticamente informações irrelevantes das tabelas, tudo isso sem custo adicional. O Mercado Livre pode usar o Amazon DynamoDB para excluir esses itens expirados usando a validade da vida útil, que remove itens indesejados ou irrelevantes em segundo plano sem consumir throughput de gravação. E usando o DynamoDB Streams, a empresa consegue capturar essas exclusões e fazer backup ou processar os dados à medida que expiram. “O DynamoDB Streams é um recurso eficaz”, afirma Mullin. “Usar seus recursos automatizados elimina a necessidade de realizarmos diversas tarefas por conta própria, o que é um processo complexo e propenso a erros.”

Resultado | Impulsionamento do crescimento para empresas regionais

Embora o Mercado Livre tenha escolhido originalmente o Amazon DynamoDB como uma forma de aliviar a sobrecarga operacional e oferecer suporte a uma escala massiva, seus desenvolvedores continuam descobrindo novos recursos e impulsionando a capacidade da empresa de inovar e de continuar crescendo na América Latina. “Ao analisarmos alternativas para nossa configuração anterior, de acordo com nossas necessidades, o Amazon DynamoDB claramente foi o vencedor para nós”, afirma Mulin. “E continuamos obtendo valor com isso ao criar novas abstrações, como índices secundários ou recursos de segurança.”

Figura 1: fluxos de migração do Mercado Livre

Clique para ampliar para visualização em tela cheia.

Figura 2: crescimento do tráfego do Mercado Livre

Clique para ampliar para visualização em tela cheia.

Sobre o Mercado Livre

O Mercado Livre abriga o maior ecossistema de comércio e pagamentos online em 18 países da América Latina. Os esforços do Mercado Livre estão centrados em possibilitar o comércio eletrônico e os pagamentos digitais e por dispositivos móveis em prol dos clientes, oferecendo um conjunto de soluções de tecnologia em toda a cadeia de valor do comércio.

Produtos da AWS usados

Amazon Simple Storage Service (Amazon S3)

O Amazon Simple Storage Service (Amazon S3) é um serviço de armazenamento de objetos que oferece escalabilidade, disponibilidade de dados, segurança e performance líderes do setor.

Saiba mais »

Amazon Elastic Compute Cloud (Amazon EC2)

O Amazon Elastic Compute Cloud (Amazon EC2) é um serviço da Web que disponibiliza capacidade computacional segura e redimensionável na nuvem.

Saiba mais »

Amazon DynamoDB

O Amazon DynamoDB é um banco de dados de valor-chave e documento que oferece desempenho de milissegundos com um dígito em qualquer escala.

Saiba mais »

Explore a jornada de inovação do Mercado Livre usando a AWS

Mais histórias do Mercado Livre

nenhum item encontrado 

1

Comece a usar

Organizações de todos os portes, em todos os setores, estão transformando seus negócios e cumprindo suas missões todos os dias usando a AWS. Entre em contato com nossos especialistas e comece sua própria jornada para a AWS hoje mesmo.