Fork Media, AWS Graviton2 프로세서에서 데이터베이스를 실행하여 비용을 40% 절감

웹사이트에 광고를 게재하여 해당 페이지의 관련 콘텐츠와 일치하는 콘텐츠를 배치하는 컨텍스트 광고는 2026년까지 매년 13.3% 씩 증가할 것으로 예상됩니다. 컨텍스트 광고 배치는 반응 가능성이 높은 사용자를 타겟팅하는 효과적인 방법이지만 브랜드는 광고가 게재되는 환경에 주의해야 합니다. 대부분의 브랜드는 예를 들어 특정 키워드가 광고 알고리즘에서 컨텍스트에 따라 일치하더라도 정치적 부패에 대한 기사와 함께 광고가 게재되는 것을 원하지 않을 것입니다.

인도에 본사를 둔 Fork Media Group(FMG)은 컨텍스트 광고를 넘어 '브랜드 안전성'을 제공하는 미디어 기술 기업입니다. 지난 5년 동안 FMG는 고객에게 광고를 게재하기 전에 웹 페이지의 이미지, 본문 내용, 헤드라인 및 전반적인 감정을 이해하기 위해 인공 지능 및 기계 학습 도구를 배포했습니다. 브랜드는 완벽한 컨텍스트 매칭과 보장된 브랜드 안전 환경의 이점을 누릴 수 있습니다. FMG는 현재 하루 7~9백만 명의 순 웹 방문자에게 광고를 제공하고 있으며 인도, 동남아시아 및 걸프협력위원회(GCC)의 현지 및 해외 최고의 온라인 게시자와 협력하고 있습니다.

FMG는 두 가지 클라우드 컴퓨팅 플랫폼을 사용해 왔습니다. 그러나 비즈니스가 성장함에 따라 동영상, 오디오, 정적 이미지로 구성된 미디어 자산에 대한 서비스 지연 시간이 500밀리초에서 1초 사이에 달하게 되었고, 이는 내부 서비스 수준 계약인 200밀리초를 상회했습니다.

FMG는 SLA를 충족하고 광고 가시성을 극대화하기 위해 2019년에 Amazon Web Services(AWS)에 광고 서버 데이터베이스를 통합하기로 결정했습니다. 이 회사는 지연 시간이 짧은 콘텐츠 전송 네트워크로 Amazon CloudFront를 사용하기 시작했으며 현재 지속적으로 SLA를 달성하고 있습니다.

또한 Amazon EC2 스팟 인스턴스를 사용한 Amazon Elastic Compute Cloud(Amazon EC2) Auto Scaling을 채택했습니다. 이 스팟 인스턴스는 Amazon EC2 용량의 거의 60%를 전용 광고 전송 워크로드에 사용합니다. 이 접근 방식은 비용을 최소화하면서 FMG의 광고 게재를 최적화함으로써 회사 비용을 30% 절감합니다. Amazon EC2 Auto Scaling을 사용하여 트래픽이 급증할 때 동적으로 용량을 추가함으로써 FMG는 광고 전송 지연 시간도 50% 줄였습니다.

2020년 중반까지 FMG는 워크로드의 약 절반을 AWS로 마이그레이션하고 Amazon EC2에서 기본 MySQL 데이터베이스 엔진을 자체 관리했습니다. 그러나 엔지니어들은 사용자당 25~40개의 쿼리가 있는 미션 크리티컬 데이터베이스의 대용량 쿼리를 관리하는 데 어려움을 겪었습니다.

이 회사는 대규모 데이터베이스 관리를 자동화하기 위해 x86 프로세서가 탑재된 Amazon Relational Database Service(Amazon RDS)를 Amazon Elastic Block Store(Amazon EBS)와 연계하기로 결정했습니다. 그러나 디스크 초당 입출력 작업 수(IOPS)로 인한 병목 현상이 발생함에 따라 성능이 저하되었습니다. FMG는 필요한 쿼리 성능을 달성하기 위해 IOPS를 별도로 프로비저닝해야 한다고 판단했지만 비용이 너무 많이 드는 것으로 판명되었습니다. FMG는 더 나은 IOPS를 달성하기 위해 더 용량이 큰 디스크를 할당해야 했고, 이로 인해 비용이 증가했습니다.

FMG는 콘텐츠 전송의 성능 향상과 스팟 인스턴스를 통해 달성한 비용 절감을 고려한 결과 AWS에 자문을 구했습니다. AWS 팀은 Amazon EC2에서 실행되는 데이터베이스의 가격 대비 성능을 극대화하기 위해 AWS Graviton2 ARM 기반 프로세서를 사용한 개념 증명(POC)을 제안했습니다.

AWS Graviton2 프로세서에서 워크로드를 실행하는 것이 x86 프로세서를 사용하는 것보다 저렴하기 때문에 FMG는 인스턴스를 r5.4xlarge에서 r6g.16xlarge로 업그레이드함으로써 거의 동일한 비용으로 메모리를 늘릴 수 있었습니다. 기본적으로 고급 인스턴스를 통해 FMG는 IOPS 스토리지 부하 및 비용을 줄이면서 더 많은 인메모리 쿼리를 더 빠르게 수행할 수 있었습니다.

Fork Media Group-Contextual의 엔지니어링 책임자인 Carlyle Oliver는 이렇게 말합니다. “동일한 네트워크 구성을 사용하여 추가 비용과 병목 현상 없이 규모를 확장할 수 있었습니다. Graviton이 아닌 프로세서였다면 훨씬 더 비쌌을 것입니다.”

또한 Amazon EBS 스토리지 볼륨이 25% 감소하여 회사의 기본 데이터베이스 및 연결 스토리지의 전체 비용이 40% 감소했습니다. Fork Media Group의 엔지니어링 부문 수석 부사장인 Nikhil Sheth는 다음과 같이 설명합니다. “Graviton 인스턴스를 사용하면서 디스크 읽기/쓰기 성능이 향상되어 Amazon EBS 볼륨을 줄일 수 있었습니다. AWS Graviton2 프로세서를 사용함으로써 광고 솔루션에 필요한 성능과 지연 시간을 비용 효율적으로 제공할 수 있습니다.”

FMG는 기본 데이터베이스를 AWS Graviton2 프로세서로 성공적으로 마이그레이션한 후 얼마 지나지 않아 다른 데이터베이스를 마이그레이션했습니다. POC 및 테스트에 소요된 시간을 포함하여 FMG가 두 개의 데이터베이스를 모두 마이그레이션하는 데 3개월도 채 걸리지 않았습니다. 오후 11시에서 오전 1시 사이에 광고 활동이 거의 또는 전혀 없는 시간대에 R6g 인스턴스로의 마이그레이션을 점진적으로 수행했습니다.

전부는 아니더라도 FMG 팀 대부분은 이것이 ARM 기반 프로세서를 사용한 첫 경험이었습니다. Oliver는 이렇게 말합니다. “처음에는 Graviton을 사용하는 것을 망설였는데, POC와 부하 테스트 후에는 모든 망설임이 사라졌습니다. AWS는 마이그레이션 전과 마이그레이션 중에 제안을 제공했는데, 온라인 설명서와 결합하면 자신감 있고 독립적으로 마이그레이션하기에 충분했습니다.”

이 회사는 특히 FMG와 같은 오픈 소스 기술을 많이 사용하는 사용자를 위해 시장에서 사용할 수 있는 다양한 ARM 호환 소프트웨어를 발견했습니다. Oliver에 따르면 최적의 운영 체제(OS)와 데이터베이스 구성을 찾는 것도 성공의 열쇠였습니다. “Ubuntu OS, 지원되는 라이브러리, 우리 시스템과 호환되는 최신 MySQL 에디션의 적절한 조합과 버전으로 범위를 좁혀야 했습니다. 그 곳에서부터 호환되는 오픈 소스 모니터링 솔루션을 통합했고 그 이후로는 성능이 순조롭게 유지되었습니다.”

2021년 12월 현재 이 회사는 데이터베이스를 통해 달성한 가격 및 성능 향상을 따라가기 위해 모든 프로덕션 광고 서버를 Graviton으로 마이그레이션하고 있습니다. 또한 Amazon Elastic Kubernetes Service(Amazon EKS)를 사용하여 광고 전송을 컨테이너화하고, 증가하는 데이터 볼륨에 대한 더 많은 분석을 활용하기 위해 AWS 기반 데이터 레이크를 고려하고 있습니다.

클라우드 네이티브 솔루션을 AWS에 통합하면서 지연 시간이 추가로 늘어났습니다. Oliver에 따르면 정적 광고 자산을 서비스하기 위한 엔드포인트 간 지연 시간이 500밀리초 이상에서 50밀리초로 감소했으며, 이는 FMG의 애플리케이션 성능에 큰 차이를 만들었습니다.

비용 절감 외에도 AWS Graviton2 프로세서로 마이그레이션한 이후 FMG의 CPU 소비량이 45% 감소했습니다. Oliver는 다음과 같이 결론을 내립니다. “이제 동일한 인프라 설정으로 30~40% 더 많은 사용자 트래픽을 관리할 수 있습니다. 우리는 이제 광고 기술 및 컨텍스트 광고의 예상 성장에 발맞춰 확장할 수 있는 유리한 위치에 놓여 있습니다.”

자세한 내용은 AWS Graviton 프로세서를 참조하세요.