MiQ が Cookie を使用しないアイデンティティグラフソリューションを AWS 上に構築し、1 日あたり 3～6 TB のデータを統合

さまざまなソースから集められる消費者データをオーディエンスプロフィールにまとめるためのアイデンティティグラフは、広告分野における重要なワークロードであり、広告ターゲティング、パーソナライゼーション、測定の指針です。通常、これらのプロフィールをまとめてマッピングする際に鍵となるのはサードパーティー Cookie ですが、プログラマティックメディアソリューション企業である MiQ は、プライバシーが最重要視される進化する世界により適した、さらに持続可能なソリューションをクライアントのために構築することにしました。同社は、サードパーティー Cookie に依拠しないオムニチャネルのインサイトを提供するために、Amazon Web Services (AWS) 上で実行される独自のオーディエンスグラフソリューションである MiQ Identity Spine を作成しました。

膨大なデータセットをほぼリアルタイムで分析するには、想像を超えたビッグデータコンピューティング性能が必要なため、MiQ は動作環境のスケールに AWS を利用しました。AWS を利用することで、MiQ はパイプラインの処理時間を短縮し、関連コストを削減しました。現在、MiQ は、変化のスピードに合わせて複数のチャネルにわたって包括的なインサイトを提供できるようになり、進化する市場規制にもうまく適応しています。

ブランドや代理店を対象とするプログラマティックメディアパートナーの MiQ は、さまざまなマーケティングチャネルやアプリケーションで収集された ID シグナルを利用して、ID リファレンスの統合ソースをクライアントのために作成しています。顧客はプログラマティック環境でこれらの識別子を利用して、広告の機会と潜在的なオーディエンスセグメントを照合したり、キャンペーンのパフォーマンスを分析したりできます。顧客に関するより複雑なインサイトに対する需要が高まるにつれ、MiQ のアナリストチームは、地域レベルのオペレーティングシステムやプラットフォーム全体のデータセットを結合するために、ますます多くの時間を費やす必要がありました。データプライバシー関連法令と Cookie の廃止が業界全体で加速し始めたことを受けて、同社は、統合クラウドコンピューティングシステムに移行し、将来の変化に対応できる識別子の新たな複雑さを管理することにしました。

これらの課題を克服するため、MiQ はさまざまなコンピューティングプラットフォームを統合して、複数のデータセットにわたる消費者プロフィールを分析する統合スペースを作成することにしました。同社は、複数のチャネルにわたるシグナルを利用して、企業がインサイトとアクティベーションのために利用できるリファレンスの統合ソースを作成するアイデンティティグラフである MiQ Identity Spine を構築しました。MiQ Identity Spine のスキーマは、ID の値とタイプ、および 150 を超える一意のデータセットからの位置データを含む、各プロフィールの 8 つの異なるデータポイントをまとめてマッピングします。「さまざまな ID シグナルをすべて 1 つのプロフィールに結合することで、1 つの ID データセットへの依存度を軽減できます」と MiQ の Identity and Future Proofing 部門 Product Lead である Georgiana Haig 氏は述べています。「また、マッピングの精度も向上します」。

MiQ Identity Spine のデータ取り込み量は、MiQ Identity Spine を構成する 6 つのコアデータセットごとに 1 日あたり約 150～200 GB です。合計すると、同社は 1 日あたり 3～6 TB のデータを処理しています。ただし、この処理データ量の増加は、コストと実装時間の両方も大幅に増加することを意味します。MiQ は、AWS を利用してパイプラインを最適化する機会があることに気づきました。「当社の組織では何年も AWS を利用しており、ワークロードの多くは既に AWS サービスがバックアップしていました」と MiQ の Data Engineering Lead である Bikash Singh 氏は述べています。

MiQ Identity Spine は毎週再計算されるため、MiQ が処理するプロフィールの数は週ごとに異なります。同社は平均して 1 億 800 万件の個人プロフィールと 7,900 万件の世帯プロフィールを管理しています。「MiQ Identity Spine を強化するパイプラインでは、バックエンドで大規模なデータ結合を実行する必要があります」と Singh 氏は述べています。「これを実行するには、膨大な処理能力が必要です」。 MiQ Identity Spine で Apache Spark の分析エンジンを利用するようになって以降、MiQ は Amazon EMR の使用を開始しました。Amazon EMR は、大規模な分散データ処理ジョブ、インタラクティブな SQL クエリ、および Apache Spark、Apache Hive、Presto などのオープンソース分析フレームワークを利用した機械学習アプリケーションを実行するためのクラウドビッグデータソリューションです。「当社の高度なビジネスインテリジェンスインフラストラクチャは、Amazon EMR に完全に依拠しています」と Singh 氏は述べています。MiQ は、Amazon EMR での Apache Spark の最新バージョンにアップグレードし、アダプティブクエリ実装を利用して、処理時間を 66% 削減することに成功しました。

パイプラインのコンピューティング性能を提供するために、MiQ は Amazon Elastic Compute Cloud (Amazon EC2) を選択しました。これは、ほぼすべてのワークロードに対応する、安全でサイズ変更可能なコンピューティングキャパシティを提供します。「ビッグデータクラスター、マイクロサービス、データベースを含む当社のデータパイプラインのコンポーネントはすべて、バックエンドで Amazon EC2 を利用しています」と Singh 氏は述べています。また MiQ は、オープンソースのビッグデータ処理ソリューションであり、AWS パートナーでもある Databricks を利用し、さまざまなデータパイプラインを実行しています。「Databricks ではクラスターの起動に Amazon EC2 インスタンスを利用しており、Databricks が必要とするあらゆる通信やリソースは AWS が提供しています」と Singh 氏は述べています。「Databricks では、ID とアクセス管理ロールの管理、Amazon EC2 の利用、ストレージの利用のすべてを行うことができます」。

Amazon EC2 を利用することで、MiQ は AWS Graviton プロセッサを活用することができるようになりました。AWS が設計したこのプロセッサは、Amazon EC2 で実行するクラウドワークロード向けに最高の料金パフォーマンスを提供します。「当社は、MiQ Identity Spine パイプラインの実行コストが非常に高くつくことから脱却できずにいました」と Singh 氏は述べています。「AWS Graviton プロセッサは、よりコスト効率の高い方法で同じコンピューティング性能を実現するのに役立ちました」。 同社は、パイプラインの毎月のデータ処理コストを約 40% 削減することができています。「AWS の利用は、データパイプラインの処理コストを削減するのに非常に役立ちました」と Singh 氏は述べています。

Databricks と AWS を利用することで、MiQ はデータ処理コストとランタイムに関して、さらに 50% を節約できます。ソリューションの合計処理時間は、以前は 3～4 時間の範囲でしたが、MiQ はその時間を 1 時間未満に短縮しました。また、MiQ Identity Spine を利用することで、MiQ は年間推定 1 年間分のアナリストの時間を節約できました。「Databricks on AWS を利用すると、インフラストラクチャを適切にデプロイできます」と Singh 氏は述べています。「また、Amazon EMR や Amazon EC2 などの AWS サービスを利用することで、データパイプラインをコスト効率よく、高いパフォーマンスで実行するために必要なリソースを得ることができます。両方を一緒に利用することで、高度に最適化され、より優れたデータパイプライン向けのインフラストラクチャを実現できました」。

MiQ は、リソースを持続的にスケールする新たな方法を常に探し求めたいと考えており、モダナイゼーションの一環としての AWS サービスの活用に期待を寄せています。「この経験から、当社は多くのことを学びました」と Singh 氏は述べています。「当社の視野が広がり、AWS の他のマネージドサービスの利用を考えることができました」。 MiQ は、MiQ Identity Spine を利用して、将来の変化に対応できる識別子をさらに多く統合することを目指しています。「ユーザーレベルのデータを超えてスケールするには、より多くのデータセットとより多くの結合が必要になります」と Haig 氏は述べています。AWS でパイプラインをホストしたことで、MiQ は将来の課題に対処するための十分な準備が整ったものと確信しています。「当社の作業の多くは AWS 上に構築されています」と Haig 氏は述べています。「この事実は、当社のインフラストラクチャと目標達成の基盤となっています」。