Kiwify reduz os custos de transcodificação de vídeo em 70% com a infraestrutura da AWS

De acordo com o engenheiro de DevOps da Kiwify, Fernando Silva, até recentemente, esse processo era realizado em outra plataforma de streaming. No entanto, a empresa saiu do ar em duas ocasiões, retirando do ar os cursos realizados na plataforma. “Temos cerca de oito mil vídeos rodando diariamente. É por isso que começamos a explorar como resolver isso”, diz Fernando Silvia. Na época, a empresa já era cliente da AWS e entrou em contato com o fornecedor para buscar alternativas.

Depois de realizar várias provas de conceito, a Kiwify decidiu desenvolver seu próprio codificador, que seria processado nas instâncias spot do Amazon EC2 usando CPUs Intel. “Passamos cerca de um mês realizando testes antes de fazer essa escolha. Testamos com e sem spot para verificar o nível de quebra e analisamos todos os números”, lembra.

Embora o uso da CPU tenha resolvido o problema inicialmente, o trabalho conjunto entre a AWS e a Kiwify demonstrou que a migração do processamento para instâncias aceleradas por GPU da NVIDIA poderia trazer ainda mais desempenho e maior redução de custos. Usando especificamente instâncias NVIDIA L4, trabalhando com o Amazon Elastic Kubernetes Service (Amazon EKS) e o AWS Karpenter , a equipe de Silva conseguiu aumentar o processamento paralelo aproveitando instâncias spot EC2 aceleradas por GPU, resultando em um desempenho 12 vezes mais rápido do que o obtido com instâncias do EC2 sem aceleração.

Com esse resultado, em fevereiro, a empresa decidiu adicionar instâncias spot EC2 aceleradas por GPU ao seu processamento, um projeto que foi apoiado pela NVIDIA. Hoje, o Kiwify usa cerca de 400 instâncias de GPU Spot mensalmente, que, junto com as instâncias Spot do EC2 sem aceleração, processam um volume de vídeos que pode variar de 6 mil a 12 mil por dia. Além de suas operações de codificação, a Kiwify tem 12 PB de dados aguardando migração da plataforma antiga para a AWS.

Com a implementação de instâncias spot de GPU, a Kiwify relatou uma série de ganhos operacionais. Em relação aos criadores de conteúdo, a conversão de vídeos — que antes levava de 30 minutos para 2 horas — agora é feita em no máximo 20 minutos, reduzindo drasticamente o tempo de integração de novos clientes.

“A infraestrutura da AWS também nos trouxe estabilidade. Começamos a usar instâncias spot em dezembro e até agora não tivemos nenhum tempo de inatividade”, ressalta Silva. O executivo também destaca que a produção de CDN (Content Delivery Network) cresceu 162% desde janeiro, sem aumento nos custos da empresa. “Nossos problemas terminaram após a migração de 100% para a AWS. Para o cliente, o que importa é que a CDN esteja no ar e nunca tivemos problemas até o momento”, diz ele.

Silva ressalta que todos esses benefícios foram obtidos junto com uma redução de 70% nos custos em comparação com o modelo adotado anteriormente. “Desde janeiro, nossa base de clientes dobrou e mantivemos os custos de codificação de vídeo. Esse resultado veio com o uso do spot, o que nos permitiu otimizar o processamento e os custos”, diz ele.