Amazon EC2 스팟 인스턴스를 사용하여 실시간 입찰 및 기계 학습 비용의 62%를 절감하는 GumGum

GumGum Inc. (GumGum)는 컴퓨터 비전과 자연어 처리(NLP)를 사용하여 전 세계 브랜드 및 대행사에 상황에 맞는 광고 캠페인을 제공하는 광고 기술 회사입니다. 이를 위해 회사는 300억 건의 트랜잭션을 처리하고 매일 100TB의 데이터를 처리하는 광고 거래소와 공급 측 광고 플랫폼을 운영합니다.

2010년부터 GumGum은 Amazon Web Services(AWS)에서 광고 기술, 기계 학습 및 데이터 처리 시스템을 운영해 왔습니다. GumGum의 Senior Vice President of Engineering인 Vaibhav Puranik는 “우리의 모든 성장과 의미 있는 작업은 AWS에서 이루어졌습니다.”라면서 “현재 수천 곳의 게시자가 광고 게재를 위한 수십억 건의 입찰 요청을 보내고 있습니다. AWS가 성장함에 따라 우리가 도입한 AWS 서비스도 늘어났습니다.”라고 말합니다.

최근에 GumGum은 실시간 입찰, 광고 분석, 상황별 광고 분석과 같은 컴퓨팅 집약적인 광고 기술 워크로드의 비용 절감에 중점을 두고 조직 차원의 비용 최적화 이니셔티브에 착수했습니다.

회사는 CPU 인스턴스를 Amazon Elastic Compute Cloud(Amazon EC2) 기반의 GPU 클러스터로 교체했습니다. 이 클러스터에서 현재 수천 개의 이벤트가 동시에 처리되고 있으며 GumGum은 매월 1만 2,000 USD를 절감하고 있습니다. 또한 무상태 아키텍처를 우선적으로 사용하여 Amazon EC2 스팟 인스턴스를 활용할 수 있도록 함으로써 미사용 Amazon EC2 용량을 대폭 할인된 요금으로 배포에 활용합니다.

Puranik는 “Amazon EC2 스팟 인스턴스는 회사 아키텍처의 필수적인 부분”이라면서 “우리는 요즘 출시하는 모든 제품을 Amazon EC2 스팟 인스턴스에서 실행되도록 설계합니다.”라고 말합니다. 또한 AutoSpotting이라는 오픈 소스 라이브러리를 사용하여 Amazon EC2 스팟 인스턴스 클러스터를 관리함으로써 고가용성을 지원하고 새로운 Amazon EC2 스팟 인스턴스를 자동으로 프로비저닝하여 트래픽 급증을 처리합니다. Puranik는 “컴퓨팅을 Amazon EC2 스팟 인스턴스로 이전함으로써 컴퓨팅 비용을 62% 절감했습니다.”라고 덧붙입니다.

또한 GumGum은 AWS 절감형 플랜에서 1년 또는 3년 동안 일정량의 컴퓨팅 파워를 사용하기로 약정하여 Amazon EC2 온디맨드 인스턴스를 사용할 때보다 더 많은 비용을 절감합니다. 회사는 AWS 절감형 플랜을 단 한 번 예약한 것으로 매월 7,000 USD를 절약했습니다. 또한 GumGum은 Amazon Simple Storage Service(S3) 내의 데이터 보존 정책과 스토리지 계층화를 분석 및 재검토하여 파일 스토리지에서 월 4만 5,000 USD를 추가로 절감했습니다.

GumGum은 기계 학습을 사용하여 상황에 맞는 콘텐츠를 찾고 광고 인벤토리 근처에서 브랜드를 위협하는 콘텐츠를 차단합니다. 매일 2,000만 개의 고유한 웹 페이지에서 이미지, 동영상, 텍스트를 분석합니다.

Puranik는 “이 모든 구성 요소를 개별적으로 분석한 다음 늦은 융합을 수행합니다. 즉, 이 모든 분석에서 점수를 가져와 결합한 다음 한 페이지에 대해 하나의 점수를 산출합니다.”라고 말합니다. 이러한 점수는 각 페이지에서 어떤 광고가 가장 성과가 좋을지 판단하고 궁극적으로 고객의 광고 가격 책정 및 인벤토리 수익률을 극대화하는 데 도움이 됩니다. 회사의 상황 분석 프레임워크는 Amazon EC2 인스턴스에서 실행되는 PyTorch 및 TensorFlow에 구축된 딥 러닝 모델을 기반으로 합니다.

GumGum의 상황 분석 및 브랜드 안전 시스템에서 생성되는 추론은 모든 규모에서 10밀리초 미만의 성능을 제공하는 키-값 및 도큐먼트 데이터베이스인 Amazon DynamoDB를 사용하여 저장됩니다. GumGum은 밀리초 단위의 시간 내에서 작동하고 확장해야 하기 때문에 Amazon DynamoDB Accelerator를 Amazon DynamoDB의 속도 향상 캐시로 사용합니다. 이를 통해 GumGum의 광고 서버는 2~3밀리초의 지연 시간으로 저장된 결과에 액세스할 수 있습니다. 회사는 Apache Cassandra 기반 시스템을 Amazon DynamoDB로 교체하여 70%에 달하는 비용을 절감합니다.

기계 학습 애플리케이션을 지원하는 컴퓨팅 인스턴스의 경우 Amazon EC2 스팟 인스턴스와 Amazon EC2 G4 인스턴스로 전환했습니다. Amazon EC2 G4 인스턴스는 훈련용 FP16 기능과 최대 100Gbps의 네트워크 처리량을 제공합니다. GumGum의 DevOps Manager인 Corey Gale은 이 전환 덕에 “추론 속도가 4배 더 빨라졌고 더 작은 모델에서도 사용할 수 있게 되면서 더 많은 추론을 병렬로 수행할 수 있게 되었습니다.”라고 말합니다.  

GumGum은 상황 분석 제품인 Verity의 추가 수익을 창출하기 위해 AWS에서 실행되는 컴퓨터 비전 및 NLP의 사용을 확대할 계획입니다. Puranik는 “현재 Verity는 상황에 맞는 결정과 브랜드 안전성 기능을 활용하고자 하는 게시자와 DSP를 위한 API 패키지로 제공됩니다.”라고 설명합니다. GumGum은 또한 일일 처리량을 2,000만 페이지에서 2억 페이지로 늘리는 도전을 시작했습니다.