Codeway économise 48 % sur les coûts de calcul liés à l’IA générative grâce aux instances Amazon EC2 G5

Basée à Istanbul, en Turquie, Codeway développe des applications mobiles et des jeux utilisant des technologies de pointe, notamment l'IA générative. Son application Wonder transforme les mots en images numériques ; les utilisateurs saisissent des mots ou des phrases, et Wonder transforme ces entrées en illustrations en déployant des modèles de diffusion stables pour la génération d'images à partir de PyTorch sur AWS. En fonction de leur abonnement, les utilisateurs peuvent ensuite télécharger une version de haute ou de basse qualité de l'image.

Étant donné que Wonder a été téléchargé par plus de 28,3 millions d'utilisateurs, Codeway s'efforce de maximiser ses capacités de calcul et de GPU. L'infrastructure de Wonder est répartie entre différents fournisseurs de services cloud dans plusieurs régions. Pour les charges de travail d'intelligence artificielle (IA), Codeway utilisait des GPU NVIDIA A100 Tensor Core hébergés chez l'un de ces fournisseurs. Cependant, il a rencontré des problèmes de capacité des GPU qui ont affecté les performances.

« Ces charges de travail nécessitent un matériel très gourmand en ressources GPU. Nous ajoutons également des millions d'utilisateurs chaque mois, de sorte que notre demande en GPU ne pourra qu'augmenter », déclare Ugur Arpaci, ingénieur DevOps en chef chez Codeway. « Alors que nous passons de la gestion de centaines de GPU à des milliers, nous voulions optimiser les coûts et les performances et trouver une bonne stratégie en matière de capacité de mise à l'échelle »

Amazon EC2 propose une gamme de solutions informatiques étendue et approfondie, avec plus de 600 instances et un choix de processeurs, de solutions de stockage, de réseaux, de systèmes d'exploitation et de modèles d'achat les plus récents, afin d'aider les clients à répondre au mieux aux exigences de leurs charges de travail. Alors que Codeway cherchait des moyens pour optimiser ses calculs, elle a découvert une solution idéale : les instances Amazon EC2 G5 optimisées par des GPU NVIDIA A10G Tensor Core. Bien que Codeway ait eu le choix entre des GPU similaires à ceux d'autres fournisseurs de services cloud, ils n'offraient pas la même disponibilité et la même capacité de mise à l’échelle qu'AWS.

« L'équipe AWS a suggéré que nous pouvions atteindre nos objectifs en matière de rapport prix-performances en adoptant les instances Amazon EC2 G5 optimisées par des GPU NVIDIA A10G Tensor Core », explique Arpaci. « Nous avons commencé à le tester et nous avons obtenu de bons résultats. »

Après avoir analysé la performance de prix des instances Amazon EC2 G5, Codeway a travaillé en étroite collaboration avec l'équipe d’AWS pour mener à bien le processus d'intégration. « Nous avons toujours été en contact avec les experts d'AWS », explique Arpaci. « Nous avons suivi leurs conseils, puis nous avons effectué des tests et calculé les coûts de notre côté. Pour certains modèles, nous avons réalisé que nous pouvions tirer le meilleur parti du déploiement de notre application sur des instances Amazon EC2 G5. Nous avons ensuite partagé nos résultats et établi une boucle de feedback très positif. »

Le processus d'intégration a été rapide et fluide, et en trois mois et demi, Codeway exécutait des charges de travail de production pour Wonder sur AWS. Il utilise désormais des instances Amazon EC2 G5 avec des GPU A10G pour déployer presque toutes les charges de travail d'IA pour la version gratuite de Wonder. Pour générer des images complètes en haute définition pour les abonnés payants, Codeway utilise les GPU A100 plus puissants, qui génèrent un contenu de meilleure qualité en moins de temps. En utilisant des modèles A10G et A100, l'entreprise peut respecter tous ses accords de niveau de service en matière de délais de production.

« Nous savions que les A10G étaient moins puissants que les A100, mais certaines charges de travail ne nécessitent pas autant de performances GPU », explique Arpaci. « Nous pouvons désormais décharger une grande partie de ces charges de travail à partir de nos GPU plus puissants, qui ne fonctionnent désormais que sur des fonctionnalités utilisateur premium, telles que la génération d'images de haute qualité. »

Pour améliorer encore la rentabilité et les performances, Codeway a adopté des clusters sur Amazon Elastic Kubernetes Service (Amazon EKS), un service géré permettant d'exécuter Kubernetes dans le cloud AWS et dans des centres de données sur site, afin de faire tourner dynamiquement les instances Amazon EC2 G5 vers le haut et vers le bas selon les besoins. Une solution de mise à l’échelle automatique et personnalisée a été déployée sur chaque cluster Amazon EKS, qui demande intelligemment des instances supplémentaires lorsque la demande s'en fait sentir.

Pour gérer les instances, Codeway s'appuie sur Karpenter, une solution open source de provisionnement de nœuds. Ce service détermine et utilise efficacement les types d'instances appropriés en fonction des besoins de Codeway. « En fait, Karpenter sélectionne le nombre d'instances requis pour nous et les déploie, puis nous déployons la charge de travail requise par-dessus ces instances », explique Arpaci. « L'ensemble du processus est automatisé, ce qui simplifie de nombreux facteurs d'un point de vue opérationnel. »