Codeway risparmia il 48% sui costi di calcolo per l'IA generativa utilizzando le istanze G5 di Amazon EC2

Con sede a Istanbul, in Turchia, Codeway sviluppa applicazioni e giochi mobili basati su tecnologie all'avanguardia, in particolare l'IA generativa. La sua applicazione Wonder trasforma le parole in immagini digitali: gli utenti inseriscono parole o frasi e Wonder trasforma quegli input in grafica implementando modelli di diffusione stabili per la generazione delle immagini basati su PyTorch su AWS. A seconda dell'abbonamento, gli utenti possono quindi scaricare una versione dell'immagine di alta o di bassa qualità.

Poiché Wonder è stato scaricato da oltre 28,3 milioni di utenti, Codeway si impegna a massimizzare le sue capacità di elaborazione e GPU. L'infrastruttura di Wonder è distribuita tra vari provider cloud in diverse regioni. Per i carichi di lavoro di inferenza con Intelligenza Artificiale (IA), Codeway utilizzava GPU di NVIDIA A100 Tensor Core con hosting su uno di questi provider. Tuttavia, riscontrava problemi di capacità della GPU che influivano sulle prestazioni.

“Questi carichi di lavoro richiedono hardware a uso intensivo di GPU. Inoltre, si aggiungono milioni di utenti ogni mese, quindi la nostra domanda di GPU non farà che aumentare”, afferma Ugur Arpaci, ingegnere DevOps responsabile di Codeway. “Nel passaggio dalla gestione di centinaia di GPU a migliaia, volevamo ottimizzare costi e prestazioni e trovare una buona strategia per la scalabilità.”

Amazon EC2 offre un portafoglio di calcolo ampio e completo, con oltre 600 istanze e una scelta tra le opzioni più recenti in termini di processore, sistemi di archiviazione, rete, sistema operativo e modello di acquisto, per aiutare i clienti a soddisfare al meglio le esigenze dei loro carichi di lavoro. Mentre Codeway era alla ricerca di modi per ottimizzare il calcolo, ha scoperto una soluzione ideale: le istanze G5 di Amazon EC2 basate su GPU Tensor Core NVIDIA A10G. Sebbene Codeway avesse la possibilità di scegliere tra GPU simili con altri provider cloud, questi non offrivano la stessa disponibilità e scalabilità di AWS.

“Il team AWS ci ha suggerito di raggiungere i nostri obiettivi di rapporto prezzo/prestazioni adottando le istanze G5 di Amazon EC2 basate su GPU Tensor Core NVIDIA A10G”, afferma Arpaci. “Abbiamo iniziato a testarlo e abbiamo osservato buoni risultati.”

Dopo aver analizzato le prestazioni dei prezzi delle istanze G5 di Amazon EC2, Codeway ha lavorato a stretto contatto con il team AWS per completare il processo di onboarding. “Siamo sempre stati in contatto con gli esperti di AWS,” afferma Arpaci. “Abbiamo seguito le loro indicazioni e abbiamo quindi eseguito test e calcolato i costi per la parte che ci riguarda. Per alcuni modelli, ci siamo resi conto che avremmo potuto ottenere vantaggi maggiori implementando la nostra applicazione su istanze G5 di Amazon EC2. Abbiamo quindi condiviso i nostri risultati e stabilito un ciclo di feedback molto positivo.”

Il processo di onboarding è stato rapido e senza intoppi e nel giro di 3,5 mesi Codeway eseguiva i carichi di lavoro di produzione per Wonder su AWS. Utilizza ora le istanze G5 di Amazon EC2 con GPU A10G per distribuire quasi tutti i carichi di lavoro di inferenza IA per la versione gratuita di Wonder. Per generare immagini complete ad alta definizione per gli abbonati a pagamento, Codeway utilizza le più potenti GPU A100, che generano contenuti di qualità superiore in un lasso di tempo più breve. Utilizzando le GPU A10G e A100, l'azienda può rispettare tutti i suoi accordi sui livelli di servizio per i tempi di produzione.

“Sapevamo che gli A10G erano meno potenti degli A100, ma alcuni carichi di lavoro non richiedono prestazioni della GPU altrettanto alte,” afferma Arpaci. “Possiamo finalmente scaricare molti di questi carichi di lavoro dalle nostre GPU più potenti, che funzionano ora solo su funzionalità utente premium, come la generazione di immagini di alta qualità.”

Per migliorare ulteriormente l'efficienza dei costi e le prestazioni, Codeway ha adottato i cluster su Amazon Elastic Kubernetes Service (Amazon EKS), un servizio gestito per eseguire Kubernetes nel cloud AWS e nei data center on-premise, per attivare e disattivare dinamicamente le istanze G5 di Amazon EC2 in base alle esigenze. È stata implementata una soluzione di scalabilità automatica personalizzata su ogni cluster Amazon EKS, che richiede in modo intelligente istanze aggiuntive quando si presenta la domanda.

Per gestire le istanze, Codeway si affida a Karpenter, una soluzione open source per il provisioning dei nodi. Questo servizio determina e utilizza efficacemente i tipi di istanza appropriati in base alle esigenze di Codeway. “Karpenter seleziona effettivamente il numero richiesto di istanze per noi e le implementa, mentre noi distribuiamo in aggiunta il carico di lavoro richiesto”, afferma Arpaci. “L'intero processo è automatizzato, il che semplifica molti aspetti dal punto di vista operativo.”