AWS를 사용하여 빅데이터 솔루션 구축
IGAWorks는 데이터 레이크를 통해 데이터를 저장하고 처리하는 AWS솔루션을 활용하여 문제를 해결하였습니다. 현CTO는 “무한 확장 가능하고 관리가 용이하며 쉽게 배워서 적용할 수 있는 솔루션은 AWS가 유일하다고 생각합니다.” 라고 말했습니다.
IGAWorks는 Amazon Route 53을 사용하여 SDK나 API를 통해 수집된 고객 여정 데이터를 Amazon Elastic Container Service로 전달하여 Amazon Simple Storage Service(Amazon S3)에 적재합니다. 적당히 모인 데이터는 Amazon Elastic MapReduce(Amazon EMR)를 통해 고객사별로 구분 정리 후 Parquet 형태로 가공하여 다시 Amazon Simple Storage Service에 저장합니다. 이 과정에서 새롭게 추가되거나 변경된 데이터 구조를 식별하고 AWS Glue Data Catalog에 반영하여 최종적인 데이터 레이크를 구축합니다. 그리고 고객사에게 Amazon Redshift 나 Amazon Athena를 통해 원시 데이터를 쿼리하여 비즈니스에 필요한 인사이트를 제공합니다.
데이터 레이크는 데이터 기반 어플리케이션을 쉽게 만들 수 있도록 도와줍니다. 그중 하나인 고객 프로필 구성은 주기적으로 Amazon Elastic MapReduce 를 통해 데이터 레이크를 조회하며, 고객별 프로필을 구성합니다. 그리고 결과를 Amazon DynamoDB에 업데이트 합니다. 현CTO는 “DynamoDB는 항상 일정한 검색 시간을 제공하며, 인프라 증설 없이 Read, Write 용량을 실시간 변경 가능합니다. DynamoDB를 사용한 이후에는 모니터링과 관리 이슈가 매우 줄어들었습니다.” 라고 말했습니다.
또한, 개인화된 고객 여정 마케팅을 제공하기 위해 Amazon SageMaker을 사용하여 고객별 관심사, 메시징 유형, 메시징 시점들을 추측합니다. 고객사의 데이터별로 적합한 예측 Model이 다르기 때문에 이 과정에서 Amazon SageMaker Autopilot을 사용하여 적합한 Model을 점수별로 나열하여 결정합니다. 그리고 이것을 적당한 주기로 반복하여 예측품질을 지속적으로 개선합니다.
실시간 데이터 레이크 업데이트
데이터 수집 후 사용 가능하도록 가공된 데이터를 제공하는 것은 일괄처리를 통해 1~3일 후 전달하는 것이 일반적입니다. AWS는 이를 수분 내에 가능하도록 합니다. 현CTO는 “데이터 최초 수집 후 Amazon Simple Storage Service와 AWS Glue Data Catalog를 통해 최대 30분내 데이터 레이크에 통합합니다. 그리고 Athena 및 Redshift 를 통해 즉시 인사이트를 얻을 수 있습니다. 이를 통해 고객사는 더 빠른 시간내에 의사결정을 내릴 수 있습니다.” 라고 말했습니다.
IGAWorks는 AWS를 활용하여 운영 비용도 절감하고 있습니다. 현CTO는 “Amazon Elastic Container Service에서 스팟 인스터스를 활용하며 온 디맨드 가격보다 최대 90% 저렴하게 사용하고 있습니다. 그리고, 데이터 레이크에 저장된 1년 이상의 데이터는 고객들이 자주 사용하지 않는 것을 발견했습니다. 이때 자동적으로 스토리지 클래스를 변경하도록 해두어 비용을 약 45%절감하였습니다.” 라고 말했습니다.
더 많은 데이터를 빠르고 저렴하게 처리하기 때문에 IGAWorks의 고객사는 더 많은 혜택을 얻습니다. 최고전략책임자인 손광래 CSO는 “디지털 트랜스포메이션의 성공은 곧 데이터 트랜스포메이션에 달려 있습니다. 우리가 처리하는 데이터 기술이 빠르고 저렴할수록 고객사는 더 많은 데이터를 손쉽게 분석할 수 있습니다. 이를 통해 데이터 기반의 인사이트와 액션이 가능해지고, 데이터 기업으로의 전환이 가속화 됩니다. 우리는 AWS의 기술을 적극 활용하여 더욱 빠르고 효율적으로 데이터를 처리함으로써 고객사에게 적시성을 제공하기 위해 노력하고 있습니다.” 라고 말했습니다.
