Codeway ahorra un 48 % en costos de computación para la IA generativa con las instancias G5 de Amazon EC2

Con sede en Estambul (Turquía), Codeway desarrolla aplicaciones y juegos móviles con tecnologías de vanguardia, en particular con IA generativa. Su aplicación Wonder convierte las palabras en imágenes digitales; los usuarios escriben palabras u oraciones y Wonder transforma esas entradas en ilustraciones mediante la implementación de modelos de difusión estable para la generación de imágenes basados en PyTorch en AWS. En función de su suscripción, los usuarios pueden descargar una versión de alta o baja calidad de la imagen.

Dado que Wonder ha sido descargado por más de 28,3 millones de usuarios, Codeway se esfuerza por maximizar sus capacidades de computación y GPU. La infraestructura de Wonder se distribuye entre varios proveedores de nube en varias regiones. Para las cargas de trabajo de inferencia de inteligencia artificial (IA), Codeway utilizaba GPU NVIDIA A100 Tensor Core alojadas en uno de estos proveedores. Sin embargo, se encontró con problemas de capacidad de las GPU que afectaron el rendimiento.

“Estas cargas de trabajo requieren un equipo con un uso muy intensivo de las GPU. Además, agregamos millones de usuarios cada mes, por lo que nuestra demanda de GPU no hace más que aumentar”, afirma Ugur Arpaci, Lead DevOps Engineer en Codeway. “A medida que pasamos de administrar cientos de GPU a miles, queríamos optimizar el costo y el rendimiento y encontrar una buena estrategia para la escalabilidad”.

Amazon EC2 ofrece una cartera de computación amplia y completa, con más de 600 instancias y una selección de las opciones más recientes de procesadores, almacenamiento, redes, sistemas operativos y modelos de compra para ayudar a los clientes a satisfacer mejor las necesidades de sus cargas de trabajo. Mientras Codeway buscaba formas de optimizar su rendimiento informático, descubrió una solución ideal: las instancias G5 de Amazon EC2 potenciadas con las GPU NVIDIA A10G Tensor Core. Si bien Codeway podía elegir entre GPU similares con otros proveedores de nube, no ofrecían la misma disponibilidad y escalabilidad que AWS.

“El equipo de AWS sugirió que podíamos cumplir nuestros objetivos de precio y rendimiento al adoptar las instancias G5 de Amazon EC2 con GPU NVIDIA A10G Tensor Core”, afirma Arpaci. “Empezamos a probarlas y obtuvimos buenos resultados.

Tras analizar el rendimiento de precios de las instancias G5 de Amazon EC2, Codeway trabajó en estrecha colaboración con el equipo de AWS para completar el proceso de incorporación. “Siempre estuvimos en contacto con los expertos de AWS”, afirma Arpaci. “Seguimos sus instrucciones y, a continuación, realizamos pruebas y calculamos los costos por nuestra parte. Para algunos modelos, nos dimos cuenta de que podíamos obtener mayores beneficios al implementar nuestra aplicación en las instancias G5 de Amazon EC2. Luego compartimos nuestros resultados y establecimos un ciclo de retroalimentación muy positivo”.

El proceso de incorporación fue rápido y fluido y, en 3,5 meses, Codeway ya estaba ejecutando cargas de trabajo de producción para Wonder en AWS. Ahora usa instancias G5 de Amazon EC2 con las GPU A10G para implementar casi todas las cargas de trabajo de inferencia de IA de la versión gratuita de Wonder. A fin de generar imágenes de alta definición para los suscriptores de pago, Codeway utiliza las GPU A100 más potentes, que generan contenido de mayor calidad en menos tiempo. Al utilizar las A10G y A100, la empresa puede cumplir con todos sus acuerdos de nivel de servicio en cuanto a los tiempos de producción.

“Sabíamos que las A10G eran menos potentes que las A100, pero algunas cargas de trabajo no requieren tanto rendimiento de GPU”, afirma Arpaci. “Ahora podemos liberar muchas de estas cargas de trabajo de nuestras GPU más potentes, que solo funcionan con características de usuarios prémium, como la generación de imágenes de alta calidad”.

Para mejorar aún más la rentabilidad y el rendimiento, Codeway ha adoptado clústeres en Amazon Elastic Kubernetes Service (Amazon EKS), un servicio administrado destinado a ejecutar Kubernetes en la nube de AWS y en centros de datos en las instalaciones, para ajustar de forma dinámica las instancias G5 de Amazon EC2 según sea necesario. Se implementó una solución personalizada de escalado automático en cada clúster de Amazon EKS, que solicita instancias adicionales de forma inteligente cuando aumenta la demanda.

Para administrar las instancias, Codeway confía en Karpenter, una solución de aprovisionamiento de nodos de código abierto. Este servicio determina y usa de manera efectiva los tipos de instancia apropiados en función de las necesidades de Codeway. “De hecho, Karpenter selecciona la cantidad de instancias requeridas para nosotros y las implementa, y luego nosotros implementamos la carga de trabajo requerida”, afirma Arpaci. “Todo el proceso está automatizado, lo que simplifica muchos factores desde una perspectiva operativa”.