OneFootball は AWS Lake Formation を利用して数日でデータレイクを構築し、7,000 万人のファンにサービスを提供

Apple App Store の最初の 1,000 アプリケーションのうちのひとつとして目立たずに旗揚げされた OneFootball ですが、今ではサッカー愛好家にとって世界で最も人気のあるデジタルメディアプラットフォームのひとつに成長しました。同社は、世界中のサッカーの試合のニュース、スコア、統計、ライブストリーミング、ハイライトを毎月 7,000 万人のファンに届けています。こうしたユーザーにうまくサービスを提供するには、OneFootball のさまざまなチームは、カスタマーエクスペリエンスの向上を目的として、情報に基づいたビジネス上の意思決定を行い、機械学習モデルを構築してテストするために、バックエンドデータベースに簡単にアクセスできる必要がありました。

しかし、データインサイトを求めるチームの要望に応えるために、6 人のスタッフから成る同社のリーン分析チームは、社内の独立したデータサイロに対して、さまざまな抽出、変換、読み込み (ETL) ワークロードを実行および管理しなければなりませんでした。このような複雑で時間のかかるプロセスでは、データを抽出し、それを営業やマーケティングチーム、ビジネスアナリスト、ニュース編集者、データサイエンティストにとってタイムリーで実用的な情報に変換する作業に 4～6 週間かかっていました。会社とサッカーファンどちらのためにもデータをより有効に活用するために、OneFootball は Amazon Web Services (AWS) でより機敏なソリューションを模索しました。

同社は 2019 年に開始されたサービスである AWS Lake Formation を利用して、安全なクラウドベースのデータレイクを数日で簡単にセットアップできました。バックエンドデータベースのデータをそのデータレイクに統合して以来、OneFootball は一元化されたデータレイクへのデータ取り込みを簡素化し、従来の ETL ワークロードを排除しました。リクエストを受け取り、データを抽出し、インサイトを提供する作業は 2 日もかからずに行えるようになりました。データの可用性が向上し、セルフサービス分析が可能になったことで、社内のチームとエンドユーザーは、より短い時間でより豊富な情報を得ることができます。また、新しいインフラストラクチャによって技術的な作業も減り、5 か国にまたがる 220 人の従業員を擁する同社のスタッフの生産性も最適化され、
コアビジネスに集中できるようになりました。

2008 年に設立された OneFootball は、サッカーファン向けのメディアプラットフォームです。毎月、3,500 のアクティブコンテンツプロバイダー (独立系コンテンツ制作者、クラブ、連盟、選手、放送局) からの 180,000 件を超える記事を、 12 言語で利用できるウェブサイトやネイティブの iPhone および Android アプリケーションを通じて、毎日ユーザーに届けています。同社は 2014 年に初めて AWS を利用してワークロードのスケーラビリティ、信頼性、効率性を向上させ、顧客基盤が劇的に拡大しました。長年にわたり、OneFootball はプラットフォーム全体を AWS に移行してきました。

ステークホルダーがバックエンドデータを利用しやすくするために、OneFootball はデータレイクを構築することにしました。同社は既に、利用できるものの中で最も人気が高く最速のクラウドデータウェアハウスである Amazon Redshift を
利用していました。しかし、すぐに使い始めるために、既存のフレームワークを使用して独自にデータ抽出システムを作成することにしました。API を通じて公開されるバックエンドデータはすべて、データをくまなく調べて Amazon Redshift に毎晩ドロップするスクリプトによって抽出されました。OneFootball チームは、さまざまなブループリントを使用して ETL フレームワークを個別に管理することにしました。その結果、技術的負担が増え、チームが手がけていたメンテナンスの量も増えました。「大変でした」と、OneFootball のデータとインサイトの責任者である Stephan Durry 氏は
言います。「アラートと監視の仕方はサービスごとに異なっていました。すぐに気付けずに抽出が失敗し、ビジネスユーザーのデータが失われることがありました」 そこで、チームは AWS Lake Formation に目を向けました。

「単にデータを抽出するだけではありません」と、OneFootball のデータエンジニアである Rodrigo Del Monte 氏は説明します。「データを圧縮して分割する必要があります。これが AWS Lake Formation が優れている点です」 AWS Lake Formation のプレハブブループリントを使用することで、OneFootball はデータを Amazon Redshift が使用できる適切な形に整え、オーバーヘッドを非常に低く抑えることができました。そうすれば、企業のさまざまな利害関係者が必要な情報をその場で取り込み、データレイクで複製したいテーブルを厳選できるようになります。これにより、会社全体でデータにアクセスしやすくなり、OneFootball のデータエンジニアがイノベーションに費やす時間が増えます。

OneFootball のデータレイクには、業界をリードするスケーラビリティ、データの可用性、セキュリティ、パフォーマンスを提供するオブジェクトストレージサービスである Amazon Simple Storage Service (Amazon S3) で分析を実行するために必要なバックエンドデータベースがすべて含まれています。OneFootball は毎日 AWS Lake Formation を使用してデータレイクからデータを抽出し、それをデータインサイトチームのサイトに持ち込んでいます。データが Amazon S3 にロードされると、Amazon Redshift は Amazon Redshift Spectrum を使用して Amazon S3 のペタバイト規模のデータに対してクエリを実行できます。データをロードしたり変換したりする必要はありません。「AWS Lake Formation により、Amazon S3 をコンピューティングレイヤー上のストレージレイヤーとしてすぐに使用でき、既存のインフラストラクチャにシームレスに統合できるようになりました」と Durry 氏は言います。「このようなものを自分たちで構築すると、時間がかかり、頭痛の種になってしまいます。チームが新しいデータを取り込む必要がある場合は、複雑なプロジェクトを作成する代わりにブループリントをセットアップし、そのデータをデータレイクで毎日利用できるようにスケジュールしています」

次のフェーズでは、OneFootball は抽出、読み込み、変換 (ELT) システムを使用して分析データを毎日更新したり、機械学習モデルを構築するためのデータセットを作成したりします。チームはビジネスユーザー向けのインターフェイスとして、Metabase を管理しています。これは、AWS Lake Formation によって Amazon S3 に保存されたすべてのデータをユーザーが利用できるオープンソースのビジネスインサイトツールです。

AWS Lake Formation を導入して以来、OneFootball は運用データベースから一元化されたデータレイクにデータをロードするリードタイムを 3～5 日に短縮しました。データレイクの一部としての関連するバックエンドサービスの対象範囲は、30% から 60% に増加しました。これにより、最終的に、チーム内部の主要業績評価指標である週次アクティブ分析ユーザー数が大幅に増加し、分析プラットフォームの使用率が 40% 増加しました。

セルフサービス分析機能により、社内の利害関係者はオンデマンドで分析を利用でき、レポートやパフォーマンス測定用のデータセットをより迅速に反復してキュレートできます。これにより、データアナリストが分析クエリを実行することなく、探索的分析やインサイトの検索に費やすことができる時間が大幅に増えました。データインサイトのリクエストと受信のプロセスにかかる時間は、平均 4～6 週間から最大 2 日間に短縮されました。「最終的には、OneFootball で 220 人以上の社員にサービスを提供する小規模なデータチームですが、今では、さまざまなタイプのデータベース抽出を管理するのではなく、ビジネス上の問題の理解により多くの時間を割けるようになりました」と Durry 氏は言います。「組織全体で日々アナリティクスを利用する人が増えているのを見るのは素晴らしい成果です。関連するすべてのデータソースを確実に統合することが前提条件でした」

OneFootball は、非常にスケーラブルで耐久性の高いリアルタイムデータストリーミングサービスである Amazon Kinesis Data Streams を使用してデータ分析システムを強化することを計画しています。「Amazon Kinesis Data Streams を使用すると、アナリストや機械学習モデル用にデータをデータレイクにロードしたり、また日々の ETL ジョブの実行を待たずにバックエンドアプリケーションがほぼリアルタイムでデータを利用したりできます」と Del Monte 氏は説明します。「そして、市場投入までの時間が大幅に短縮されました」

現在、OneFootball は、ほぼリアルタイムでデータを提供できるように、イベントをデータレイクインフラストラクチャにストリーミングする作業を進めています。Amazon Kinesis Data Streams は Amazon にデータをロード
Elasticsearch Service により、エンドユーザーは関心のある情報をほぼ即座に見つけて確認できます。

OneFootball は AWS Lake Formation を利用してデータレイクとデータ分析システムを構築しましたが、これは同社にとって大きな成果となりました。チームはセルフサービス分析を使用してデータインサイトを迅速に導き、そのインサイトをスマートなビジネス上の意思決定に変えることに集中できます。「データレイクに対して実行されるクエリの数に関しては、今ではすべてがうまく管理されています」と Durry 氏は言います。「データレイクとデータウェアハウスを開放することで、運命を人々の手に委ねました」