AWS에서 쿠키 없는 ID 그래프 솔루션을 구축하여 매일 3~6TB의 데이터를 통합하는 MiQ

서로 다른 소스의 소비자 데이터를 고객 프로필로 통합하는 데 사용되는 ID 그래프는 광고에서 광고 타겟팅, 개인화 및 측정을 안내하는 중요한 워크로드입니다. 일반적으로 이러한 프로필을 서로 매핑할 때는 서드 파티 쿠키가 중요하지만 프로그래머틱 미디어 솔루션 회사인 MiQ는 변화하는 개인 정보 보호 우선 환경에 더 적합하고 고객의 입장에서 더 지속 가능한 솔루션을 구축하기로 결정했습니다. 이 회사는 서드 파티 쿠키에 의존하지 않는 옴니채널 인사이트를 제공하기 위해 Amazon Web Services(AWS)에서 실행되는 독점 대상 그래프 솔루션인 MiQ Identity Spine을 만들었습니다.

대규모 데이터 세트를 거의 실시간으로 분석하려면 엄청난 양의 빅 데이터 컴퓨팅 성능이 필요합니다. 운영 환경을 확장해야 했던 MiQ는 이러한 이유로 AWS를 선택했습니다. MiQ는 AWS를 사용하여 파이프라인 처리 시간을 줄이고 관련 비용을 절감했습니다. 이제 MiQ는 변화의 속도에 맞춰 여러 채널에서 연결된 인사이트를 제공할 수 있으며 진화하는 시장 규제에 적응하기 위한 준비를 마쳤습니다.

브랜드 및 대행사의 프로그래매틱 미디어 파트너인 MiQ는 다양한 마케팅 채널과 애플리케이션에서 수집한 ID 신호를 사용하여 통합된 ID 참조 소스를 만듭니다. 회사의 고객은 프로그래밍 환경에서 이러한 식별자를 사용하여 광고 기회를 잠재 고객 세그먼트와 일치시키고 캠페인 성과를 분석할 수 있습니다. 고객에 대한 보다 복잡한 인사이트를 원하는 수요가 증가하면서 MiQ의 분석 팀은 지역 운영 체제 및 플랫폼 전반에서 데이터 세트를 결합하는 데 점점 더 많은 시간을 소비해야 했습니다. 업계 전반에 걸쳐 데이터 개인 정보 보호법이 빠르게 적용되고 쿠키 사용이 중단되기 시작한 후, 회사는 미래에도 사용 가능한 식별자가 야기하는 새로운 복잡성을 관리하기 위해 통합 클라우드 컴퓨팅 시스템으로 전환하기로 결정했습니다.

이러한 문제를 극복하기 위해 MiQ는 다양한 컴퓨팅 플랫폼을 통합하여 여러 데이터 세트의 소비자 프로필을 분석할 수 있는 통합 공간을 만들기로 결정했습니다. 그렇게 해서 만든 것이 MiQ Identity Spine인데, 이 제품은 여러 채널의 신호를 사용하여 기업에서 인사이트를 확보하고 활성화를 지원하는 데 사용할 수 있는 통합 참조 소스를 만드는 ID 그래프입니다. MiQ Identity Spine 스키마는 각 프로필에 대한 8개의 개별 데이터 포인트를 하나로 매핑합니다. 여기에는 ID 값 및 유형은 물론 150개 이상의 고유한 데이터 세트의 지리적 위치 데이터가 포함됩니다. MiQ의 ID 및 Identity and Future Proofing 부문 Product Lead인 Georgiana Haig는 “서로 다른 모든 ID 신호가 하나의 프로필로 통합되기 때문에 단일의 ID 데이터 세트에 대한 의존도가 줄어듭니다.”라고 말합니다. 그는 또 다음과 같이 덧붙입니다. “매핑의 정확도도 향상됩니다.”

MiQ Identity Spine은 MiQ Identity Spine을 구성하는 6개의 코어 데이터 세트 각각에 대해 하루 약 150~200GB의 데이터를 수집합니다. 전체적으로 이 회사는 매일 3~6TB의 데이터를 처리합니다. 그러나 이렇게 증가한 양의 데이터를 처리하려면 비용과 구현 시간이 크게 늘어납니다. MiQ는 AWS를 사용하여 파이프라인을 최적화할 기회가 있다는 것을 깨달았습니다. MiQ의 Data Engineering Lead인 Bikash Singh은 “수년 동안 AWS를 사용해 왔고, 이미 많은 워크로드가 AWS 서비스를 통해 백업되었습니다.”라고 말합니다.

MiQ Identity Spin은 매주 다시 계산됩니다. 따라서 MiQ가 작업하는 프로필의 수는 매주 달라집니다. 이 회사는 평균적으로 1억 800만 개의 개인 프로필과 7,900만 개의 가족 프로필을 관리합니다. Singh은 “MiQ Identity Spine을 지원하는 파이프라인은 자동으로 대규모 데이터 조인을 수행해야 합니다.”라면서 “이 작업에는 엄청난 처리 용량이 필요합니다.”라고 말합니다. MiQ Identity Spine에 Apache Spark 분석 엔진을 사용한 이후 MiQ는 Apache Spark, Apache Hive 및 Presto와 같은 오픈 소스 분석 프레임워크를 사용하여 대규모 분산 데이터 처리 작업, 대화형 SQL 쿼리 및 기계 학습 애플리케이션을 실행하는 데 사용되는 클라우드 빅 데이터 솔루션인 Amazon EMR을 사용하기 시작했습니다. Singh은 “회사의 고급 비즈니스 인텔리전스 인프라 전체가 Amazon EMR에 들어가 있습니다.”라고 말합니다. MiQ는 최신 버전의 Amazon EMR 기반 Apache Spark로 업그레이드하고 적응형 쿼리 구현을 사용하여 처리 시간을 66% 단축했습니다.

파이프라인에 필요한 컴퓨팅 파워를 제공하기 위해 MiQ는 Amazon Elastic Compute Cloud(Amazon EC2)를 선택했습니다. Amazon EC2는 거의 모든 워크로드에 크기 조정이 가능하고 안전한 컴퓨팅 용량을 제공합니다. Singh은 “빅 데이터 클러스터, 마이크로서비스, 데이터베이스를 비롯한 데이터 파이프라인의 구성 요소 모두에 Amazon EC2가 기반으로 사용됩니다.”라고 말합니다. 또한 MiQ는 오픈 소스 빅 데이터 처리 솔루션이자 AWS 파트너인 Databricks를 사용하여 다양한 데이터 파이프라인을 실행합니다. Singh은 “Databricks에서 시작하는 클러스터에는 Amazon EC2 인스턴스가 사용되며, Databricks에 필요한 모든 통신 및 리소스를 AWS가 제공합니다”라면서 “ID 및 액세스 관리 역할 관리, Amazon EC2 사용, 스토리지 사용이 모두 Databricks에서 이루어집니다”라고 말합니다.

MiQ는 Amazon EC2를 사용하여 AWS Graviton 프로세서를 활용할 수 있었습니다. AWS가 설계한 이 프로세서는 Amazon EC2에서 실행되는 클라우드 워크로드에 최고의 가격 대비 성능을 제공합니다. Singh은 “MiQ Identity Spine 파이프라인을 운영하는 데 드는 비용이 점점 더 높아지는 단계에 처해 있었죠.”라면서 “AWS Graviton 프로세서를 사용하면서 훨씬 더 비용 효율적인 방식으로 동일한 컴퓨팅 파워를 달성할 수 있었습니다.”라고 말합니다. 회사는 파이프라인의 월 데이터 처리 비용을 약 40% 절감할 수 있었습니다. Singh은 “AWS를 사용한 것은 데이터 파이프라인 처리 비용을 낮추는 데 큰 도움이 되었습니다.”라고 말합니다.

MiQ는 Databricks와 AWS를 사용하여 데이터 처리 비용 및 런타임 측면에서 추가로 50%를 절약할 수 있습니다. 솔루션의 총 처리 시간은 이전에는 3~4시간이었지만 MiQ는 이 시간을 1시간 미만으로 단축했습니다. 또한 MiQ는 MiQ Identity Spine을 사용하여 연간 약 1년에 해당하는 분석 시간을 절약했습니다. Singh은 “AWS 기반 Databricks를 사용하면 인프라를 적절하게 배포할 수 있습니다.”라면서 “Amazon EMR과 Amazon EC2와 같은 AWS 서비스를 사용하여 데이터 파이프라인을 비용 효율적이고 고성능으로 실행하는 데 필요한 리소스를 확보할 수 있습니다. 2가지를 함께 사용하는 것이 데이터 파이프라인을 위한 더 우수하고 고도로 최적화된 인프라임이 입증되었습니다.”라고 말합니다.

지속적으로 리소스를 확장할 수 있는 새로운 방법을 찾고자 하는 MiQ는 AWS 서비스를 현대화의 일환으로 사용할 수 있기를 기대합니다. Singh은 “정말 교육적인 경험이었습니다”라면서 “사고 방식에 변화가 일어나고 생각이 열렸습니다. AWS의 다른 관리형 서비스를 사용해 보는 것도 괜찮겠다는 생각이 들었습니다.”고 말합니다. MiQ의 목표는 MiQ Identity Spine을 사용하여 미래에도 사용 가능한 더 많은 식별자를 연결하는 것입니다. Haig는 “사용자 수준 데이터 이상으로 확장하려면 더 많은 데이터 세트와 더 많은 조인이 필요합니다.”라고 말합니다. MiQ는 AWS에서 파이프라인을 호스팅함으로써 미래의 과제를 해결할 준비가 되었다고 확신합니다. Haig는 “우리가 하는 일의 대부분은 AWS를 기반으로 합니다.”라면서 “AWS는 회사 인프라의 기반이자 목표 달성을 지원하는 근간입니다.”라고 말합니다.