OneFootball baute mithilfe von AWS Lake Formation in wenigen Tagen einen Data Lake auf, um 70 Millionen Fans zu erreichen

Von seinen bescheidenen Anfängen als eine der ersten 1 000 Anwendungen im Apple App Store hat sich OneFootball zu einer der weltweit beliebtesten digitalen Medienplattformen für Fußball-Enthusiasten entwickelt. Das Unternehmen erreicht 70 Millionen Fans pro Monat mit Nachrichten, Ergebnissen, Statistiken, Livestreams und Höhepunkten von Fußballspielen auf der ganzen Welt. Um diesen Nutzer das zu bieten, was sie sehen möchten, benötigten die verschiedenen Teams von OneFootball einen einfachen Zugriff auf ihre Backend-Datenbanken. So konnten sie fundierte Geschäftsentscheidungen treffen und Modelle für Machine Learning mit dem Ziel eines verbesserten Kundenerlebnisses erstellen und testen.

Doch um den Bedarf der Teams an Dateneinblicken zu decken, musste das nur sechs Mitarbeiter zählende Analytikteam des Unternehmens verschiedene Extract, Transform, Load (ETL)-Workloads für unabhängige Datensilos im gesamten Unternehmen ausführen und verwalten. Mit diesem komplexen, zeitaufwändigen Verfahren dauerte es 4–6 Wochen, bis die Daten extrahiert und in zeitgerechte, umsetzbare Informationen für Vertriebs- und Marketingteams, Wirtschaftsanalysten, Nachrichtenredakteure und Datenwissenschaftler umgewandelt waren. Um die Daten besser zum Vorteil des Unternehmens und der Fußballfans zu nutzen, suchte OneFootball nach einer schnelleren Lösung mit Amazon Web Services (AWS).

Das Unternehmen nutzte AWS Lake Formation, einen 2019 eingeführten Service, um innerhalb weniger Tage einen sicheren Cloud-basierten Data Lake einzurichten. Seit die Daten aus den Backend-Datenbanken in den Data Lake integriert wurden, hat OneFootball die Datenaufnahme in den zentralisierten Data Lake vereinfacht und alte ETL-Workloads eliminiert. Jetzt dauert es weniger als zwei Tage, um eine Anfrage entgegenzunehmen, Daten zu extrahieren und Erkenntnisse zu liefern. Die zunehmende Verfügbarkeit von Daten und die Möglichkeit von Self-Service-Analytik liefern sowohl internen Teams als auch Endbenutzern umfangreichere Informationen in kürzeren Zeiträumen. Die neue Infrastruktur reduziert außerdem den technischen Aufwand und optimiert die Produktivität der 220 Mitarbeiter des Unternehmens, die auf fünf Länder verteilt sind,
so dass sich das Unternehmen auf sein Kerngeschäft konzentrieren kann.

OneFootball wurde 2008 gegründet und ist eine Medienplattform für Fußballfans. Jeden Monat werden über die Website und die nativen iPhone- und Android-Apps, die in 12 Sprachen verfügbar sind, mehr als 180 000 Artikel von 3 500 aktiven Inhaltsanbietern (unabhängigen Inhaltserstellern, Vereinen, Verbänden, Spielern und Sendern) den Benutzern zur Verfügung gestellt. Das Unternehmen nutzte AWS erstmals im Jahr 2014, um die Skalierbarkeit, Zuverlässigkeit und Effizienz seiner Workloads zu verbessern, nachdem der Kundenstamm drastisch zu wachsen begann. Im Laufe der Jahre hat OneFootball seine gesamte Plattform auf AWS umgestellt.

Um die Backend-Daten für Stakeholder besser zugänglich zu machen, entschied sich OneFootball für den Aufbau eines Data Lake. Das Unternehmen nutzte bereits vorher Amazon Redshift, das beliebteste und schnellste Cloud-basierte Data
Warehouse auf dem Markt. Um jedoch schnell einsatzbereit zu sein, beschloss das Unternehmen, selbst ein System zur Datenextraktion zu entwickeln und dabei bestehende Frameworks zu nutzen. Alle Backend-Daten, die über APIs zugänglich waren, wurden mit Hilfe von Skripten extrahiert, die die Daten durchkämmten und sie jede Nacht in Amazon Redshift einspeisten. Das OneFootball-Team beschloss, die ETL-Frameworks einzeln mithilfe verschiedener Vorlagen zu verwalten. Dadurch stiegen die technischen Schulden und der Wartungsaufwand, den das Team zu bewältigen hatte. „Es war ein einziges Chaos“, sagt Stephan Durry, Head of Data and Insights bei
OneFootball. „Warnungen und Überwachungsfunktionen wurden für jeden Service anders gehandhabt: Manchmal schlugen Extraktionen fehl, ohne dass wir dies sofort bemerkten, was zu fehlenden Daten für unsere Geschäftskunden führte.“ Zu diesem Zeitpunkt entschied sich das Team für AWS Lake Formation.

„Es geht nicht nur darum, die Daten zu extrahieren“, erklärt Rodrigo Del Monte, Data Engineer bei OneFootball. „Man muss die Daten komprimieren und aufteilen, und genau hier zeigt sich das Potenzial von AWS Lake Formation.“ Mit den vordefinierten Vorlagen in AWS Lake Formation konnte OneFootball die Daten in die richtige Form bringen, damit sie von Amazon Redshift mit sehr geringem Aufwand genutzt werden konnte. Dann konnten die verschiedenen Stakeholder des Unternehmens die Informationen, die sie benötigten, spontan aufnehmen und die Tabellen, die sie im Data Lake replizieren wollten, selbst auswählen. Dadurch wurden die Daten im gesamten Unternehmen zugänglicher und die Dateningenieure von OneFootball bekamen mehr Zeit für ihre Innovationen.

Der Data Lake von OneFootball umfasst alle Backend-Datenbanken, die zur Durchführung von Analytik auf Amazon Simple Storage Service (Amazon S3) benötigt werden. Amazon S3 ist ein Objektspeicher-Service, der branchenführende Skalierbarkeit, Datenverfügbarkeit, Sicherheit und Leistung bietet. OneFootball verwendet AWS Lake Formation täglich, um Daten aus dem Data Lake zu extrahieren und sie an das Data-Insights-Team zu übermitteln. Die Daten werden in Amazon S3 geladen, und dann kann Amazon Redshift mit Amazon Redshift Spectrum Abfragen gegen Petabytes an Daten in Amazon S3 ausführen, ohne dass Daten geladen oder umgewandelt werden müssen. „AWS Lake Formation ermöglichte es uns, Amazon S3 unmittelbar als Speicherebene zusätzlich zu einer Berechnungsebene zu verwenden und nahtlos in unsere bestehende Infrastruktur zu integrieren“, sagt Durry. „So etwas selbst zu entwickeln, hätte Zeit und Nerven gekostet. Wenn das Team neue Daten aufnehmen muss, erstellen wir, anstatt ein komplexes Projekt zu erstellen, eine Vorlage und planen die Daten so, dass sie täglich im Data Lake verfügbar sind.“

In der nächsten Phase bedient sich OneFootball eines Extract, Load, Transform (ELT)-Systems, um die Analytikdaten täglich zu aktualisieren oder um Datensätze zu erstellen, die zum Aufbau von Modellen für Machine Learning verwendet werden. Als Schnittstelle für seine Geschäftskunden unterhält das Team Metabase, ein Open-Source-Tool für geschäftliche Einblicke, mit dem Benutzer alle Daten nutzen können, die von AWS Lake Formation in Amazon S3 gespeichert wurden.

Seit der Implementierung von AWS Lake Formation hat OneFootball die Vorlaufzeit für das Laden von Daten aus operativen Datenbanken in den zentralisierten Data Lake auf 3–5 Tage reduziert. Die Abdeckung relevanter Backend-Services als Teil des Data Lake ist von 30 auf 60 Prozent gestiegen. Dies verhalf dem Team schließlich zu einem beträchtlichen Anstieg der wöchentlich aktiven Analytik-Nutzer (dem internen Leistungsindikator des Teams) und erhöhte die Nutzung der Analytik-Plattform um 40 Prozent.

Die Fähigkeit zur Self-Service-Analytik ermöglicht es internen Stakeholdern, Analytik nach Bedarf zu nutzen und Datensätze für die Berichterstattung und Leistungsmessung schneller zu iterieren und zu kuratieren. So konnten die Datenanalysten drastisch mehr Zeit mit explorativen Analysen und der Gewinnung von Erkenntnissen verbringen, anstatt Analytikabfragen durchzuführen. Die Zeit, die für den Prozess des Anforderns und Erhaltens von Datenerkenntnissen benötigt wurde, konnte von durchschnittlich 4–6 Wochen auf maximal 2 Tage reduziert werden. „Letztendlich sind wir ein kleines Datenteam, das mehr als 220 Mitarbeiter bei OneFootball betreut, aber jetzt können wir mehr Zeit damit verbringen, geschäftliche Herausforderungen zu lösen, anstatt verschiedene Arten von Datenbankextraktionen zu verwalten“, sagt Durry. „Es ist eine großartige Errungenschaft, dass immer mehr Menschen im gesamten Unternehmen täglich Gebrauch von Analytikfunktionen machen. Grundvoraussetzung war die zuverlässige Integration aller relevanten Datenquellen.“

OneFootball plant, sein Datenanalytik-System mithilfe von Amazon Kinesis Data Streams (Amazon KDS) zu verbessern, einem hochgradig skalierbaren und zuverlässigen Datenstreaming-Service in Echtzeit. „Mit Amazon Kinesis Data Streams können wir Daten in einen Data Lake für Analysten und Machine-Learning-Modelle laden oder wir können Backend-Anwendungen Daten nahezu in Echtzeit nutzen lassen, anstatt auf die Ausführung täglicher ETL-Aufträge zu warten“, erklärt Del Monte. „Und die Markteinführungszeit ist viel schneller.“

Derzeit arbeitet OneFootball daran, Ereignisse in seine Data-Lake-Infrastruktur zu streamen, damit es Daten nahezu in Echtzeit anbieten kann. Amazon Kinesis Data Streams lädt Daten in Amazon
Elasticsearch Service, damit Endbenutzer die gewünschten Informationen fast sofort finden und sehen können.

Mit AWS Lake Formation hat OneFootball einen Data Lake und ein Datenanalytik-System aufgebaut, das sich als großer Gewinn für das Unternehmen erwiesen hat. Teams können Self-Service-Analytik nutzen, um Dateneinblicke schnell zu gewinnen und sich dann darauf konzentrieren, diese Einblicke in intelligente Geschäftsentscheidungen umzusetzen. „Alles ist jetzt gut verwaltet, was die Anzahl der Abfragen anbelangt, die auf unseren Data Lake ausgeführt werden“, sagt Durry. „Indem wir den Data Lake und das Data Warehouse zugänglich gemacht haben, haben wir den Leuten das Schicksal selbst in die Hand gegeben.“