Codeway economiza 48% em custos de computação para IA generativa usando instâncias G5 do Amazon EC2

Com sede em Istambul, Turquia, a Codeway desenvolve aplicativos e jogos móveis com tecnologias de ponta, especialmente IA generativa. Seu aplicativo Wonder transforma palavras em imagens digitais; os usuários inserem palavras ou frases, e o Wonder transforma essas entradas em arte implantando modelos de difusão estáveis para geração de imagens com base no PyTorch na AWS. Dependendo da assinatura, os usuários podem baixar uma versão de alta ou baixa qualidade da imagem.

Como o Wonder foi baixado por mais de 28,3 milhões de usuários, a Codeway se esforça para maximizar seus recursos de computação e GPU. A infraestrutura do Wonder é distribuída em vários provedores de nuvem em várias regiões. Para workloads de inferência de inteligência artificial (IA), a Codeway estava usando GPUs NVIDIA A100 Tensor Core hospedadas em um desses fornecedores. No entanto, ele encontrou problemas de capacidade da GPU que afetaram o desempenho.

“Essas workloads exigem um hardware com muito uso de GPU. Também estamos adicionando milhões de usuários todos os meses, então nossa demanda por GPUs só aumentará”, diz Ugur Arpaci, engenheiro-chefe de DevOps da Codeway. “À medida que passamos do gerenciamento de centenas de GPUs para milhares, queríamos otimizar o custo e o desempenho e encontrar uma boa estratégia de escalabilidade.”

O Amazon EC2 oferece um portfólio de computação amplo e profundo, com mais de 600 instâncias e uma opção das mais recentes opções de processador, armazenamento, rede, sistema operacional e modelo de compra para ajudar os clientes a melhor atender às necessidades de suas workloads. Enquanto a Codeway procurava maneiras de otimizar sua computação, descobriu uma solução ideal: instâncias G5 do Amazon EC2 equipadas com GPUs NVIDIA A10G Tensor Core. Embora a Codeway tivesse a opção de escolher entre GPUs semelhantes às de outros provedores de nuvem, eles não ofereciam a mesma disponibilidade e escalabilidade da AWS.

“A equipe da AWS sugeriu que poderíamos atingir nossas metas de preço-desempenho adotando instâncias G5 do Amazon EC2 equipadas com GPUs NVIDIA A10G Tensor Core”, diz Arpaci. “Começamos a testar isso e vimos bons resultados.”

Depois de analisar a relação preço/desempenho das instâncias G5 do Amazon EC2, a Codeway trabalhou em conjunto com a equipe da AWS para concluir o processo de integração. “Sempre estivemos em contato com os especialistas da AWS”, diz Arpaci. “Seguimos suas orientações e, em seguida, realizamos testes e calculamos os custos de nossa parte. Para determinados modelos, percebemos que poderíamos obter o máximo de benefícios implantando nosso aplicativo nas instâncias G5 do Amazon EC2. Em seguida, compartilhamos nossos resultados e estabelecemos um ciclo de feedback muito positivo.”

O processo de integração foi rápido e simples e, em 3,5 meses, a Codeway estava executando workloads de produção para o Wonder na AWS. Agora, ele usa instâncias G5 do Amazon EC2 com GPUs A10G para implantar quase todas as workloads de inferência de IA para a versão gratuita do Wonder. Para gerar imagens inteiras de alta definição para assinantes pagos, a Codeway usa as GPUs A100 mais poderosas, que geram conteúdo de alta qualidade em menos tempo. Ao usar A10Gs e A100s, a empresa pode cumprir todos os seus contratos de nível de serviço para tempos de produção.

“Sabíamos que as A10Gs eram menos potentes do que as A100s, mas algumas workloads não exigem tanto desempenho de GPU”, diz Arpaci. “Agora, podemos descarregar muitas dessas workloads de nossas GPUs mais poderosas, que agora funcionam somente com recursos para usuários premium, como geração de imagens de alta qualidade.”

Para melhorar ainda mais a eficiência de custos e o desempenho, a Codeway adotou clusters no Amazon Elastic Kubernetes Service (Amazon EKS) — um serviço gerenciado para executar Kubernetes na Nuvem AWS e em datacenters on-premises — para mover dinamicamente as instâncias G5 do Amazon EC2 para cima e para baixo conforme necessário. Uma solução personalizada de escalabilidade automática foi implantada em cada cluster do Amazon EKS, que solicita instâncias adicionais de forma inteligente quando surge a demanda.

Para gerenciar instâncias, a Codeway conta com o Karpenter, uma solução de provisionamento de nós de código aberto. Esse serviço determina e usa efetivamente os tipos de instância apropriados com base nas necessidades da Codeway. “Na verdade, o Karpenter seleciona o número necessário de instâncias para nós e as implanta. Além disso, implantamos a workload necessária”, diz Arpaci. “Todo o processo é automatizado, o que simplifica muitos fatores do ponto de vista operacional.”