OneFootball a créé un lac de données en quelques jours en utilisant AWS Lake Formation pour offrir ses services à 70 millions de fans

Depuis ses débuts modestes en tant que l'une des 1 000 premières applications de l'App Store d'Apple, OneFootball est devenue l'une des plateformes multimédia numériques les plus populaires au monde pour les passionnés de football (football). La société touche 70 millions de fans par mois avec des actualités, des résultats, des statistiques, des diffusions en direct et des temps forts des matchs de football du monde entier. Pour répondre au mieux aux besoins de ces utilisateurs, les différentes équipes de OneFootball avaient besoin d'un accès facile à ses bases de données dorsales afin de prendre des décisions commerciales éclairées et de créer et de tester des modèles de machine learning dans le but d'améliorer l'expérience client.

Mais pour répondre à la demande des équipes en matière d'informations sur les données, l'équipe d'analyse allégée de l'entreprise, composée de six personnes, a dû exécuter et gérer diverses charges de travail d'extraction, de transformation et de chargement (ETL) pour des silos de données indépendants au sein de l'entreprise. Dans le cadre de ce processus complexe et fastidieux, il a fallu 4 à 6 semaines pour extraire des données et les convertir en informations exploitables et opportunes pour les équipes commerciales et marketing, les analystes commerciaux, les éditeurs de nouvelles et les data scientists. Pour mieux utiliser les données au bénéfice de l'entreprise et des fans de football, OneFootball a cherché une solution plus agile sur Amazon Web Services (AWS).

L'entreprise a utilisé AWS Lake Formation, un service lancé en 2019, pour configurer facilement un lac de données sécurisé basé sur le cloud en quelques jours. Depuis l'intégration des données de ses bases de données dorsales dans ce lac de données, OneFootball a simplifié l'ingestion de données dans son lac de données centralisé et éliminé les charges de travail ETL existantes. Désormais, la réception d'une demande, l'extraction de données et la fourniture d'informations prennent moins de deux jours. La disponibilité accrue des données et les fonctionnalités d'analyse en libre-service ont permis aux équipes internes et aux utilisateurs finaux de disposer d'informations plus riches en moins de temps. La nouvelle infrastructure a également permis de réduire le travail technique et d'optimiser la productivité du personnel de l'entreprise de 220 personnes réparties dans cinq pays,
ce qui lui permet de se concentrer sur son cœur de métier.

Fondée en 2008, OneFootball est une plateforme multimédia destinée aux fans de football. Chaque mois, elle transmet quotidiennement plus de 180 000 articles provenant de 3 500 fournisseurs de contenu actifs (créateurs de contenu indépendants, clubs, fédérations, joueurs et diffuseurs) à ses utilisateurs via son site Web et ses applications natives pour iPhone et Android, disponibles en 12 langues. L'entreprise a utilisé AWS pour la première fois en 2014 pour améliorer l'évolutivité, la fiabilité et l'efficacité de ses charges de travail alors que sa base de clients augmentait considérablement. Au fil des ans, OneFootball a transféré l'ensemble de sa plateforme vers AWS.

Pour rendre les données du backend plus accessibles aux parties prenantes, OneFootball a décidé de créer un lac de données. L'entreprise utilisait déjà Amazon Redshift, le service d’entrepôt de données cloud le plus populaire et le plus rapide
disponible. Mais pour être rapidement opérationnel, elle a décidé de créer son propre système d'extraction de données, en utilisant les cadres existants. Toutes les données dorsales exposées via les API étaient extraites au moyen de scripts qui analysaient les données et les déposaient dans Amazon Redshift chaque nuit. L'équipe de OneFootball a décidé de gérer les cadres ETL individuellement à l'aide de différents plans. Cela a finalement augmenté la dette technique et la quantité de maintenance à gérer par l'équipe. « C'était un véritable bazar », explique Stephan Durry, responsable des données et des informations chez
OneFootball. « Les alertes et la surveillance étaient gérées différemment pour chaque service : parfois, les extractions échouaient sans que nous nous en apercevions immédiatement, ce qui entraînait des données manquantes pour nos utilisateurs professionnels. » C'est alors que l'équipe s'est tournée vers AWS Lake Formation.

« Il ne s'agit pas simplement d'extraire les données », explique Rodrigo Del Monte, ingénieur des données pour OneFootball. « Vous devez compresser et partitionner les données, et c'est là qu'AWS Lake Formation se distingue. » À l'aide des plans préfabriqués d'AWS Lake Formation, OneFootball a pu mettre les données dans la bonne forme pour qu'elles soient consommées par Amazon Redshift avec une charge de travail très faible. Les différentes parties prenantes de l'entreprise pourraient alors assimiler les informations dont elles ont besoin à la volée et sélectionner les tables qu'elles souhaitent reproduire dans le lac de données, ce qui rendrait les données plus accessibles à l'ensemble de l'entreprise et donnerait aux ingénieurs de données de OneFootball plus de temps pour innover.

Le lac de données de OneFootball comprend tous les ensembles de bases de données dorsales nécessaires pour effectuer des analyses sur Amazon Simple Storage Service (Amazon S3), un service de stockage d'objets qui offre une capacité de mise à l’échelle, une disponibilité des données, une sécurité et des performances de pointe. Chaque jour, OneFootball utilise AWS Lake Formation pour extraire des données du lac de données et les transmettre au site de l'équipe Data Insights. Les données sont chargées dans Amazon S3, puis Amazon Redshift peut exécuter des requêtes sur des pétaoctets de données dans Amazon S3 à l'aide d'Amazon Redshift Spectrum sans avoir à charger ni à transformer de données. « AWS Lake Formation nous a permis d'utiliser Amazon S3 comme couche de stockage en plus d'une couche de calcul dès sa sortie de la boîte et de l'intégrer parfaitement à notre infrastructure existante », explique Durry. « Construire quelque chose comme ça nous-mêmes nous aurait coûté du temps et nous aurait causé des soucis. Si l'équipe a besoin d'ingérer de nouvelles données, au lieu de créer un projet complexe, nous établissons un plan et planifions la mise à disposition quotidienne de ces données dans le lac de données. »

Dans la phase suivante, OneFootball utilise un système d'extraction, de chargement, de transformation (ELT) pour actualiser quotidiennement les données d'analyse ou pour créer des ensembles de données utilisés pour créer des modèles de machine learning. En tant qu'interface pour ses utilisateurs professionnels, l'équipe gère Metabase, un outil d'informations commerciales open source qui permet aux utilisateurs de consulter toutes les données stockées dans Amazon S3 par AWS Lake Formation.

Depuis la mise en œuvre d'AWS Lake Formation, OneFootball a réduit le délai de chargement des données des bases de données opérationnelles vers le lac de données centralisé à 3 à 5 jours. La couverture des services dorsaux pertinents dans le cadre de son lac de données est passée de 30 à 60 %. Cela a finalement permis à l'équipe de constater une augmentation substantielle du nombre d'utilisateurs actifs d'analyses hebdomadaires (indicateur de performance clé interne de l'équipe), augmentant ainsi l'utilisation de la plateforme d'analyse de 40 %.

La fonctionnalité d'analyse en libre-service permet aux parties prenantes internes de consommer des analyses à la demande et d'itérer et de gérer plus rapidement des ensembles de données à des fins de reporting et de mesure des performances. Cela a considérablement augmenté le temps que les analystes de données pouvaient consacrer à des analyses exploratoires et à l'extraction d'informations au lieu d'exécuter des requêtes analytiques ; le temps nécessaire au processus de demande et de réception d'informations sur les données a été réduit de 4 à 6 semaines en moyenne à un maximum de 2 jours. « En fin de compte, nous sommes une petite équipe de données qui dessert plus de 220 personnes sur OneFootball, mais nous pouvons désormais consacrer plus de temps à la compréhension des problèmes commerciaux plutôt qu'à la maintenance de différents types d'extractions de bases de données », explique M. Durry. « Le fait de voir de plus en plus de personnes au sein de l'organisation utiliser l'analytique au quotidien est une grande réussite. L'intégration fiable de toutes les sources de données pertinentes était une condition préalable. »

OneFootball prévoit de renforcer son système d'analyse de données à l'aide d'Amazon Kinesis Data Streams, un service de flux de données en temps réel extrêmement évolutif et durable. « À l'aide d'Amazon Kinesis Data Streams, nous pouvons charger des données dans un lac de données pour les analystes et les modèles de machine learning, ou nous pouvons faire en sorte que les applications dorsales consomment des données en temps quasi réel au lieu d'attendre l'exécution des tâches ETL quotidiennes », explique Del Monte. « Et le délai de mise sur le marché est beaucoup plus rapide. »

OneFootball travaille actuellement à la diffusion d'événements dans son infrastructure de lac de données afin de pouvoir fournir des données en temps quasi réel. Amazon Kinesis Data Streams charge des données dans Amazon
Elasticsearch Service, qui permet aux utilisateurs finaux de trouver et de consulter les informations qui les intéressent presque immédiatement.

À l'aide d'AWS Lake Formation, OneFootball a créé un lac de données et un système d'analyse de données qui se sont révélés très importants pour l'entreprise. Les équipes peuvent utiliser des analyses en libre-service pour obtenir rapidement des informations sur les données, puis se concentrer sur la transformation de ces informations en décisions commerciales intelligentes. « Tout est désormais bien géré en ce qui concerne le nombre de requêtes exécutées sur notre lac de données », explique M. Durry. « En ouvrant le lac de données et l'entrepôt de données, nous mettons le destin entre les mains des gens. »