IGAWorks, AWS를 사용하여 실시간 고객 데이터 플랫폼 제공

2006년 12월 설립된 아이지에이웍스(IGAWorks)는 CDP(Customer Data Platform), AI 머신러닝 기반 DMP(Data Management Platform), ATD(Advertising Trade Desk), 모바일 어트리뷰, 애널리틱스, 마케팅자동화, 마켓인텔리전스 등 고도의 모바일 데이터 분석기술과 플랫폼을 서비스 하는 국내 유일의 종합 데이터 테크 SaaS기업입니다.

모바일 데이터 분야에 대한 오랜 연구와 투자로 업계 최초로 10억대가 넘는 모바일 데이터 분석 시대를 열어 보인 아이지에이웍스는 압도적인 데이터를 기반으로 AI 머신러닝 기술을 고도화 하며, 명실상부 국내 B2B 모바일 데이터 산업을 대표하는 데이터 플랫폼 전문기업으로 자리매김 하였습니다.

삼성, LG, 롯데, 신세계, SK, 네이버, 카카오 등 다양한 기업들이 아이지에이웍스가 제공하는 고도화된 플랫폼들을 이용해 데이터를 수집하고, 고객들의 성향을 분석하며 이를 토대로 광고와 마케팅 전반의 의사결정부터 기획과 실행, 운영 등 매출과 비즈니스의 직접적인 성장에 활용하고 있습니다.

AWS를 사용하여 실시간 고객 데이터 플랫폼 제공

IGAWorks의 데이터 분석 솔루션인 디파이너리(DFINERY)와 애드브릭스(adbrix)는 약 10,000여개의 회사들이 보내는 수십억개의 고객 여정 데이터를 매일 처리하며 Business-Intelligence, 머신러닝, 개인화된 고객 여정 마케팅 환경을 제공하는 SaaS형 고객 데이터 플랫폼 입니다. 수십억개의 데이터는 준 실시간 활용할 수 있도록 멈춤없이 처리되며, GUI로 이루어진 콘솔을 통해 데이터에 접근하고 인사이트를 얻을 수 있습니다. 이를 통해 고객사의 마케터와 운영자들은 기술적 지식없이 데이터 드리븐 액션을 할 수 있습니다.

고객사별로 각각 다른 형태의 데이터는 예측 불가능하게 증가합니다. 그럼에도 불구하고 쉽게 데이터를 집계하고 처리해야만 했습니다. 데이터 플랫폼 부문 현동규 CTO는 “우리의 제품이 데이터 트랜스포메이션 시대에 꼭 필요한 제품이라는 것을 알고 있었습니다. 그래서 페타 바이트 규모의 데이터를 넘어서 성장할 것이라는 것을 알고 있었습니다. 우리는 무한 확장 가능하고 유연한 데이터플랫폼을 제공하기 위해 클라우드 환경이 꼭 필요하다는 것을 깨달았습니다.” 라고 말했습니다.

AWS를 사용하여 빅데이터 솔루션 구축

IGAWorks는 데이터 레이크를 통해 데이터를 저장하고 처리하는 AWS솔루션을 활용하여 문제를 해결하였습니다. 현CTO는 “무한 확장 가능하고 관리가 용이하며 쉽게 배워서 적용할 수 있는 솔루션은 AWS가 유일하다고 생각합니다.” 라고 말했습니다.

IGAWorks는 Amazon Route 53을 사용하여 SDK나 API를 통해 수집된 고객 여정 데이터를 Amazon Elastic Container Service로 전달하여 Amazon Simple Storage Service(Amazon S3)에 적재합니다. 적당히 모인 데이터는 Amazon Elastic MapReduce(Amazon EMR)를 통해 고객사별로 구분 정리 후 Parquet 형태로 가공하여 다시 Amazon Simple Storage Service에 저장합니다. 이 과정에서 새롭게 추가되거나 변경된 데이터 구조를 식별하고 AWS Glue Data Catalog에 반영하여 최종적인 데이터 레이크를 구축합니다. 그리고 고객사에게 Amazon Redshift 나 Amazon Athena를 통해 원시 데이터를 쿼리하여 비즈니스에 필요한 인사이트를 제공합니다.

데이터 레이크는 데이터 기반 어플리케이션을 쉽게 만들 수 있도록 도와줍니다. 그중 하나인 고객 프로필 구성은 주기적으로 Amazon Elastic MapReduce 를 통해 데이터 레이크를 조회하며, 고객별 프로필을 구성합니다. 그리고 결과를 Amazon DynamoDB에 업데이트 합니다. 현CTO는 “DynamoDB는 항상 일정한 검색 시간을 제공하며, 인프라 증설 없이 Read, Write 용량을 실시간 변경 가능합니다. DynamoDB를 사용한 이후에는 모니터링과 관리 이슈가 매우 줄어들었습니다.” 라고 말했습니다.

또한, 개인화된 고객 여정 마케팅을 제공하기 위해 Amazon SageMaker을 사용하여 고객별 관심사, 메시징 유형, 메시징 시점들을 추측합니다. 고객사의 데이터별로 적합한 예측 Model이 다르기 때문에 이 과정에서 Amazon SageMaker Autopilot을 사용하여 적합한 Model을 점수별로 나열하여 결정합니다. 그리고 이것을 적당한 주기로 반복하여 예측품질을 지속적으로 개선합니다.

실시간 데이터 레이크 업데이트

데이터 수집 후 사용 가능하도록 가공된 데이터를 제공하는 것은 일괄처리를 통해 1~3일 후 전달하는 것이 일반적입니다. AWS는 이를 수분 내에 가능하도록 합니다. 현CTO는 “데이터 최초 수집 후 Amazon Simple Storage Service와 AWS Glue Data Catalog를 통해 최대 30분내 데이터 레이크에 통합합니다. 그리고 Athena 및 Redshift 를 통해 즉시 인사이트를 얻을 수 있습니다. 이를 통해 고객사는 더 빠른 시간내에 의사결정을 내릴 수 있습니다.” 라고 말했습니다.

IGAWorks는 AWS를 활용하여 운영 비용도 절감하고 있습니다. 현CTO는 “Amazon Elastic Container Service에서 스팟 인스터스를 활용하며 온 디맨드 가격보다 최대 90% 저렴하게 사용하고 있습니다. 그리고, 데이터 레이크에 저장된 1년 이상의 데이터는 고객들이 자주 사용하지 않는 것을 발견했습니다. 이때 자동적으로 스토리지 클래스를 변경하도록 해두어 비용을 약 45%절감하였습니다.” 라고 말했습니다.

더 많은 데이터를 빠르고 저렴하게 처리하기 때문에 IGAWorks의 고객사는 더 많은 혜택을 얻습니다. 최고전략책임자인 손광래 CSO는 “디지털 트랜스포메이션의 성공은 곧 데이터 트랜스포메이션에 달려 있습니다. 우리가 처리하는 데이터 기술이 빠르고 저렴할수록 고객사는 더 많은 데이터를 손쉽게 분석할 수 있습니다. 이를 통해 데이터 기반의 인사이트와 액션이 가능해지고, 데이터 기업으로의 전환이 가속화 됩니다. 우리는 AWS의 기술을 적극 활용하여 더욱 빠르고 효율적으로 데이터를 처리함으로써 고객사에게 적시성을 제공하기 위해 노력하고 있습니다.” 라고 말했습니다.

• 매일 수십억개의 고객 여정 데이터를 처리 합니다.
• 수집된 데이터는 데이터 레이크에서 최대 30분내에 통합됩니다.
• Amazon EC2 Spot Instance와 Amazon S3 Storage Class를 활용하여 한 달에 수만 달러 절약 했습니다.
• Amazon SageMaker Autopilot을 통해 적합한 예측 모델을 자동 결정 합니다.