Codeway, Amazon EC2 G5 인스턴스를 사용하여 생성형 AI의 컴퓨팅 비용 48% 절감

터키 이스탄불에 본사를 둔 Codeway는 최첨단 기술, 특히 생성형 AI로 구동되는 모바일 애플리케이션과 게임을 개발합니다. Wonder 애플리케이션은 단어를 디지털 이미지로 변환합니다. 사용자가 단어나 문장을 입력하면 Wonder는 AWS의 PyTorch 기반 이미지 생성을 위한 Stable Diffusion 모델을 배포하여 이러한 입력을 아트워크로 변환합니다. 사용자는 구독에 따라 이미지의 고품질 또는 저품질 버전을 다운로드할 수 있습니다.

2,830만 명 이상의 사용자가 Wonder를 다운로드했기 때문에 Codeway는 컴퓨팅 및 GPU 기능을 극대화하기 위해 노력하고 있습니다. Wonder의 인프라는 여러 지역의 다양한 클라우드 제공업체에 분산되어 있습니다. 인공 지능(AI) 추론 워크로드의 경우 Codeway는 이러한 제공업체 중 한 곳에서 호스팅되는 NVIDIA A100 Tensor Core GPU를 사용하고 있었습니다. 그러나 성능에 영향을 미치는 GPU 용량 문제가 발생했습니다.

“이러한 워크로드에는 GPU를 많이 사용하는 하드웨어가 필요합니다. 또한 매달 수백만 명의 사용자가 추가되고 있기 때문에 GPU에 대한 수요는 계속 증가할 것입니다”라고 Codeway의 Lead DevOps Engineer인 Ugur Arpaci는 말합니다. “관리하는 GPU가 수백 개에서 수천 개로 늘어나면서 비용과 성능에 최적화하고 확장성을 위한 적절한 전략을 찾고 있었습니다.”

Amazon EC2는 600개 이상의 인스턴스와 최신 프로세서, 스토리지, 네트워킹, 운영 체제 및 구매 모델 옵션을 선택할 수 있는 광범위하고 심층적인 컴퓨팅 포트폴리오를 제공하여 고객이 워크로드 요구 사항을 최대한 충족할 수 있도록 지원합니다. Codeway는 컴퓨팅을 최적화할 방법을 모색하던 중 이상적인 솔루션을 발견했습니다. 그것은 바로 NVIDIA A10G Tensor Core GPU로 구동되는 Amazon EC2 G5 인스턴스였습니다. Codeway는 다른 클라우드 제공업체의 비슷한 GPU를 선택할 수 있었지만 그런 GPU는 AWS와 동일한 가용성과 확장성을 제공하지는 못했습니다.

Arpaci는 “AWS 팀은 NVIDIA A10G Tensor Core GPU로 구동되는 Amazon EC2 G5 인스턴스를 채택하여 가격 대비 성능 목표를 달성할 수 있다고 제안했습니다”라고 말합니다. “우리는 이것을 테스트하기 시작했고 좋은 결과를 보았습니다.”

Codeway는 Amazon EC2 G5 인스턴스의 가격 성능을 분석한 후 AWS 팀과 긴밀하게 협력하여 온보딩 프로세스를 완료했습니다. “우리는 항상 AWS의 전문가들과 연락을 주고받았습니다”라고 Arpaci는 말합니다. “AWS의 지침에 따라 테스트를 수행하고 우리 측에서 비용을 계산했습니다. 일부 모델의 경우 Amazon EC2 G5 인스턴스에 애플리케이션을 배포하면 최대한의 이점을 얻을 수 있다는 것을 깨달았습니다. 그런 다음 결과를 공유하고 매우 긍정적인 피드백 루프를 구축했습니다.”

온보딩 프로세스는 빠르고 원활했으며, Codeway는 3.5개월 만에 AWS에서 Wonder의 프로덕션 워크로드를 실행할 수 있었습니다. 이제 A10G GPU와 함께 Amazon EC2 G5 인스턴스를 사용하여 Wonder 무료 버전의 거의 모든 AI 추론 워크로드를 배포합니다. Codeway는 유료 구독자를 위한 풀 HD 이미지를 생성하기 위해 더 짧은 시간에 고품질 콘텐츠를 생성하는 더욱 강력한 A100 GPU를 사용합니다. A10G와 A100를 사용함으로써 이 회사는 출력 시간에 대한 모든 서비스 수준 계약을 준수할 수 있습니다.

Arpaci는 “A10G가 A100에 비해 성능이 떨어진다는 것은 알고 있었지만 일부 워크로드에는 그다지 많은 GPU 성능이 필요하지 않습니다”라고 말합니다. “이제 우리는 고화질 이미지 생성과 같은 프리미엄 사용자 기능에서만 작동하는 더 강력한 GPU에서 이러한 워크로드의 대부분을 오프로드할 수 있습니다.”

Codeway는 비용 효율성과 성능을 더욱 향상하기 위해 AWS 클라우드 및 온프레미스 데이터 센터에서 Kubernetes를 실행하는 관리형 서비스인 Amazon Elastic Kubernetes Service(Amazon EKS)에 클러스터를 채택하여 필요에 따라 Amazon EC2 G5 인스턴스를 동적으로 가동 및 축소합니다. 사용자 지정 Automatic Scaling 솔루션이 각 Amazon EKS 클러스터에 배포되어 수요가 발생할 때 지능적으로 추가 인스턴스를 요청합니다.

Codeway는 오픈 소스 노드 프로비저닝 솔루션인 Karpenter를 사용하여 인스턴스를 관리합니다. 이 서비스는 Codeway의 필요에 따라 적절한 인스턴스 유형을 효과적으로 결정하고 사용합니다. Arpaci는 “실제로 Karpenter가 필요한 인스턴스 수를 선택하여 배포해 주면 우리가 그 외에 필요한 워크로드를 배포합니다”라고 말합니다. “전체 프로세스가 자동화되어 운영 측면에서 많은 요소가 단순화되었습니다.”