株式会社フリークアウト

オンライン広告業界において最先端の自社開発技術をベースとした多様な事業を展開する株式会社フリークアウト。2011 年 1 月に DSP（Demand Side Platform）を日本で初めて事業化し、その後もさまざまなマーケティングプラットフォームを提供。日本のアドテクノロジー業界を牽引しています。

DSP は広告主や広告会社からのリクエストにより RTB（Real Time Bidding）で広告の買い付けを行うプラットフォームです。フリークアウトが DSP 基盤で扱う広告枠在庫は月間で約 6,000 億インプレッションに上り、 24 時間リアルタイムで大量のデータを処理することが求められています。インターネット環境の整備が進み、デバイスの種類も増加するなかで、この数字は年々増加の一途を辿っています。それに伴いデータを処理するための基盤についても毎年多くの投資が必要になるとともに運用の負荷も年々高まっています。

フリークアウトでは従来、オンプレミスで DSP 基盤の運用を続けてきましたが、大きな転機が訪れたのは 2017 年のことです。2013 年頃に Hadoop を導入するために購入した多くのハードウェアが老朽化を迎えつつあり、将来の基盤運用について再検討することとなりました。

「ハードウェアはいずれ老朽化を免れません。新しいハードウェアを次々と購入していくとしても調達にコストと時間がかかりますし、古いものとの性能差も生まれてしまいます。そして、大きな課題になっていたのが運用面です。ハードウェアのトラブルシューティングや、システムのバージョンアップなどに大きな工数が取られてしまっていたのです。」と課題を話すのは、株式会社フリークアウト 取締役 CTO の西口次郎氏です。

そこで、フリークアウトが選択したのが、DSP 基盤のクラウド化です。まず DSP のコアワークロードである ETL （ Extract/Transform/Load ）の基盤をオンプレミスからクラウドへ移行することとし、机上での検討に加えて実際に AWS Glue を使った検証などを行い、その結果 AWS を利用することを決めました。

「他のクラウドサービスはそれほど意識しませんでした。 AWS は、これまで使い続けてきたなかで安定性が非常に高いことが分かっていましたし、サービスも非常に豊富です。大規模なデータを安定的に処理することを考えると、悩むことはありませんでした。」（西口氏）

フリークアウトが最初に AWS を利用したのは 2012 年、アメリカでの DSP 事業展開にあたってのことでした。 Amazon CloudFront によるコンテンツ配信から始まり、Amazon EC2、 Amazon RDS、 Elastic Load Balancing などを活用して DSP 事業を展開しました。その後、他のサービス基盤でも AWS を使い続けてきました。そうしたなかで、特に AWS の安定性を評価していました。

今回 AWS へ移行することを決めた ETL 基盤は、日々生み出される大量のログデータを加工してアウトプットする役割を担います。入札リクエストやオーディエンスの行動履歴、広告の閲覧履歴など、膨大な非構造化データを処理します。

オンプレミスで生み出されるログはいったんすべて Amazon S3 に集められます。そのデータの ETL 処理に Amazon EMR を、テーブルメタデータに AWS Glue のデータカタログを使用します。 ETL 処理されたデータは S3 に保管され、他のさまざまなジョブで利用されます。