Fork Media obtém 40% de redução em custos com bancos de dados em execução nos processadores AWS Graviton2

A publicidade contextual, na qual os anúncios são dispostos em um site de modo a corresponder ao conteúdo relevante dessa página,tem um projeção de crescimento de 13,3% ao ano até 2026. Embora a disposição de anúncios contextuais seja uma forma eficaz de alcançar usuários que provavelmente responderão a eles, as marcas devem ter cuidado com o ambiente em que o anúncio é inserido. A maioria das marcas não gostaria de ter seu anúncio exibido ao lado de um artigo sobre corrupção política, por exemplo, mesmo que certas palavras-chave correspondam contextualmente em um algoritmo de publicidade.

Com sede na Índia, a Fork Media Group (FMG) é uma empresa de tecnologia de mídia que vai além da publicidade contextual e oferece “segurança de marca”. Nos últimos cinco anos, a FMG implantou ferramentas de inteligência artificial e machine learning para entender as imagens, o conteúdo do corpo, o título e o sentimento geral de uma página da Web antes de posicionar um anúncio para clientes. As marcas se beneficiam de uma combinação completa de contexto e de um ambiente seguro para a marca. Atualmente, a FMG veicula anúncios para sete a nove milhões de visitantes exclusivos da Web por dia e trabalha com os principais publicadores on-line locais e internacionais da Índia, do Sudeste Asiático e do Conselho de Cooperação do Golfo (GCC).

A FMG utilizava duas plataformas diferentes de computação em nuvem. Mas, à medida que a empresa crescia, a latência na manutenção de seus ativos de mídia, que consistiam em vídeo, áudio e imagens estáticas, começou a variar de 500 milissegundos a um segundo, acima do contrato de nível de serviço (SLA) interno de 200 milissegundos.

Para cumprir o SLA e maximizar a visibilidade dos anúncios, a FMG decidiu consolidar seus bancos de dados de servidores de anúncios na Amazon Web Services (AWS) em 2019. A empresa começou a usar o Amazon CloudFront como uma rede de entrega de conteúdo de baixa latência e agora está cumprindo o SLA de maneira consistente.

Também adotou o Amazon Elastic Compute Cloud (Amazon EC2) Auto Scaling com instâncias spot do Amazon EC2, que representa quase 60% de sua capacidade do Amazon EC2 dedicada a workloads de entrega de anúncios. Esse método otimiza a entrega de anúncios da FMG e, ao mesmo tempo, minimiza custos, resultando em uma redução de 30% para a empresa. Ao usar o Amazon EC2 Auto Scaling para adicionar capacidade de maneira dinâmica nos picos de tráfego, a FMG também obteve uma redução de 50% na latência de entrega de anúncios.

Em meados de 2020, a FMG migrou cerca de metade de suas workloads para a AWS e estava autogerenciando seu principal mecanismo de banco de dados MySQL no Amazon EC2. Porém, seus engenheiros enfrentaram desafios no gerenciamento de altos volumes de consultas para o banco de dados essencial para a missão, com 25 a 40 consultas por usuário.

A empresa optou pelo Amazon Relational Database Service (Amazon RDS) com processadores x86, em conjunto com o Amazon Elastic Block Store (Amazon EBS) para automatizar a administração do banco de dados em escala. No entanto, a performance foi prejudicada por gargalos devido às operações de entrada e saída por segundo (IOPS) de disco. A FMG definiu que precisava provisionar IOPS separadamente para obter a performance de consulta necessária, mas isso acabou sendo muito caro. A FMG precisou alocar um tamanho de disco maior para obter melhor IOPS, impulsionando os custos.

Refletindo sobre os ganhos de performance na entrega de conteúdo e a economia de custos atingida com as instâncias spot, a FMG procurou a AWS para obter orientações. A equipe da AWS sugeriu uma prova de conceito (POC) com processadores AWS Graviton2 baseados em ARM para obter a melhor relação preço-performance para bancos de dados executados no Amazon EC2.

Como a execução de workloads nos processadores AWS Graviton2 custa menos do que usar processadores x86, a FMG conseguiu atualizar suas instâncias de r5.4xlarge para r6g.16xlarge, aumentando assim a memória por quase o mesmo custo. As instâncias de maior classificação basicamente permitiram que a FMG fizesse mais consultas na memória com mais rapidez e com redução de custos e carga de armazenamento de IOPS.

Segundo Carlyle Oliver, head of engineering da Fork Media Group Contextual: “conseguimos expandir sem incorrer no aumento custos e gargalos, usando a mesma configuração de rede. Teria sido consideravelmente mais caro em um processador que não fosse Graviton”.

Além disso, os volumes de armazenamento do Amazon EBS diminuíram 25%, o que contribui para uma queda de 40% no custo geral do banco de dados principal e do armazenamento anexado da empresa. Nikhil Sheth, senior vice president of engineering da Fork Media Group, explica: “com as instâncias Graviton, tivemos uma performance melhor de leitura e gravação em disco e, portanto, conseguimos reduzir nossos volumes do Amazon EBS. Ao usar os processadores AWS Graviton2, podemos oferecer, com um bom custo-benefício, a performance e a latência necessários para nossas soluções de publicidade”.

Após migrar com sucesso seu banco de dados principal para os processadores AWS Graviton2, a FMG migrou outro banco de dados logo em seguida. A FMG levou pouco menos de três meses para migrar os dois bancos de dados, incluindo o tempo necessário para a POC e os testes. Ela realizou a migração para instâncias R6g gradualmente durante períodos de pouca ou nenhuma atividade publicitária entre 23h e 1h.

Para quase todos, se não todos, da equipe da FMG, essa foi a primeira experiência com processadores baseados em ARM. Oliver conta: “hesitamos em usar o Graviton inicialmente, mas toda essa hesitação desapareceu depois da POC e do teste de carga. A AWS forneceu sugestões antes e durante a migração, que, combinadas com a documentação on-line, foram suficientes para migrarmos com confiança e independência”.

A empresa descobriu uma ampla variedade de softwares compatíveis com ARM disponíveis no mercado, especialmente para heavy users de tecnologia de código aberto, como a FMG. Segundo Oliver, encontrar a configuração ideal de sistema operacional (SO) e banco de dados também foi fundamental para o sucesso. “Tivemos de restringir a combinação e a versão corretas do sistema operacional Ubuntu, das bibliotecas com suporte e da última edição do MySQL compatível com nosso sistema. A partir daí, integramos soluções de monitoramento de código aberto que eram compatíveis, e a performance tem sido estável desde então.”

A partir de dezembro de 2021, a empresa migrará todos os servidores de anúncios de produção para o Graviton, buscando igualar os ganhos de preço e performance obtidos com seus bancos de dados. Também vai conteinerizar a entrega de anúncios usando o Amazon Elastic Kubernetes Service (Amazon EKS) e considerar um data lake na AWS para utilizar mais análise em seus crescentes volumes de dados.

A integração de soluções nativas de nuvem na AWS também contribuiu para aumentar ganhos de latência. A latência entre endpoints para veicular ativos de publicidade estática caiu de mais de 500 milissegundos para 50 milissegundos, o que, segundo Oliver, faz uma grande diferença na performance das aplicações da FMG.

Além da redução de custos, o consumo de CPU da FMG diminuiu em 45% desde a migração para processadores AWS Graviton2. Oliver conclui: “agora podemos gerenciar de 30% a 40% mais tráfego de usuários com a mesma configuração de infraestrutura. Estamos bem posicionados para a expansão alinhada ao crescimento projetado em tecnologia de anúncios e publicidade contextual”.

Para saber mais, acesse Processador AWS Graviton.