OneFootball ha creato un data lake in pochi giorni utilizzando AWS Lake Formation per servire 70 milioni di tifosi

Dalle sue umili origini, una delle prime 1.000 applicazioni presenti sull'App Store di Apple, OneFootball è cresciuta fino a diventare una delle piattaforme multimediali digitali più popolari al mondo per gli appassionati di calcio. L'azienda raggiunge 70 milioni di fan al mese con notizie, punteggi, statistiche, dirette streaming e highlight delle partite di calcio in tutto il mondo. Per servire in modo adeguato questi utenti, i vari team di OneFootball avevano bisogno di accedere facilmente ai suoi database di back-end per prendere decisioni aziendali informate e creare e testare modelli di machine learning con l'obiettivo di migliorare l'esperienza del cliente.

Tuttavia, per soddisfare la richiesta di informazioni sui dati da parte dei team, il piccolo gruppo di analisi composto da sei persone doveva preparare e gestire diversi estratti, trasformare, caricare i carichi di lavoro (ETL) per silo di dati indipendenti in tutta l'azienda. Con un processo così lungo e complesso, l'estrazione dei dati e la loro conversione in informazioni tempestive e utili per i team di vendite e marketing, gli analisti di mercato, gli editori e i data scientist richiedeva dalle 4 alle 6 settimane. Per utilizzare meglio i dati a vantaggio dell'azienda e dei tifosi del calcio, OneFootball ha adottato una soluzione più agile con Amazon Web Services (AWS).

L'azienda ha utilizzato AWS Lake Formation, un servizio lanciato nel 2019, per configurare facilmente e in pochi giorni un data lake sicuro basato sul cloud. Da quando ha integrato nel data lake i suoi database di back-end, OneFootball ha semplificato l'importazione dei dati nel suo data lake centralizzato ed eliminato i carichi di lavoro ETL precedenti. Ora, dal momento in cui si riceve una richiesta, l'attività di estrazione dei dati e di fornitura delle informazioni impiega meno di due giorni. La maggiore disponibilità di dati e il servizio di analisi self-service hanno fornito ai team interni e agli utenti finali informazioni più ricche in tempi più brevi. La nuova infrastruttura ha inoltre ridotto il lavoro tecnico e ottimizzato la produttività del personale dell'azienda, che conta 220 dipendenti in cinque paesi diversi,
consentendole di concentrarsi sul core business.

Fondata nel 2008, OneFootball è una piattaforma multimediale dedicata agli appassionati di calcio. Ogni mese invia ai propri utenti oltre 180.000 articoli di 3.500 provider attivi di contenuti (creatori di contenuti indipendenti, club, federazioni, giocatori ed emittenti) attraverso il suo sito Web e le app native per iPhone e Android, localizzate in 12 lingue diverse. L'azienda ha utilizzato AWS per la prima volta nel 2014 per migliorare scalabilità, affidabilità ed efficienza dei suoi carichi di lavoro poiché la sua base clienti era in rapido aumento. Nel corso degli anni, OneFootball ha trasferito la sua intera piattaforma su AWS.

Per agevolare l'accesso degli stakeholder ai dati di back-end, OneFootball ha deciso di creare un data lake. L'azienda utilizzava già Amazon Redshift, il data warehouse su cloud più veloce e popolare
attualmente disponibile. Tuttavia, per passare rapidamente all'azione, ha deciso di creare un suo sistema di estrazione dati utilizzando dei framework esistenti. Tutti i dati di back-end esposti tramite le API erano estratti con script che analizzavano i dati e li inserivano ogni notte in Amazon Redshift. Il team di OneFootball ha deciso di gestire i framework ETL individualmente, utilizzando diversi schemi. Ciò ha causato un aumento del debito tecnico e della quantità di manutenzione che il team doveva gestire. "Era un disastro", afferma Stephan Durry, head of data and insights (responsabile dei dati e delle informazioni) di
OneFootball. "Avvisi e monitoraggio venivano gestiti in maniera diversa per ciascun servizio; a volte le estrazioni non riuscivano senza che ce ne accorgessimo subito, facendo perdere dati ai nostri utenti commerciali." È stato allora che il team si è rivolto ad AWS Lake Formation.

"Non è solo una questione di estrarre i dati", spiega Rodrigo Del Monte, data engineer (ingegnere dei dati) di OneFootball. "È necessario comprimere e ripartire i dati, ed è in questo che AWS Lake Formation eccelle." Utilizzando gli schemi preimpostati di AWS Lake Formation, OneFootball potrebbe organizzare i dati nella forma giusta per essere fruiti da Amazon Redshift con una spesa bassissima. A quel punto, i vari stakeholder dell'azienda potrebbero reperire al volo le informazioni di cui hanno bisogno e selezionare le tabelle che desiderano replicare nel data lake, rendendo i dati più accessibili a livello aziendale e dando agli ingegneri dei dati di OneFootball più tempo per innovare.

Il data lake di OneFootball comprende tutti i set di database di back-end necessari per procedere all'analisi su Amazon Simple Storage Service (Amazon S3), un servizio di archiviazione di oggetti che offre scalabilità, disponibilità dei dati, sicurezza e prestazioni all'avanguardia nel settore. Ogni giorno, OneFootball utilizza AWS Lake Formation per estrarre dati dal data lake e trasferirli sul sito del team delle informazioni sui dati. I dati vengono caricati su Amazon S3, dopodiché Amazon Redshift può eseguire query su petabyte di dati attraverso Amazon S3 utilizzando Amazon Redshift Spectrum senza la necessità di caricare o trasformare alcun dato. "AWS Lake Formation ci ha permesso di utilizzare Amazon S3 come livello di archiviazione su un livello di elaborazione fin da subito e di integrarlo senza problemi nella nostra infrastruttura esistente", afferma Durry. "Creare una struttura del genere da soli ci sarebbe costato tempo e avrebbe causato problemi. Se il team ha bisogno di assimilare nuovi dati, invece di creare un progetto complesso, impostiamo uno schema e pianifichiamo che i dati siano disponibili quotidianamente nel data lake."

Nella fase successiva, OneFootball utilizza un sistema di estrazione, caricamento e trasformazione (ELT) per aggiornare quotidianamente i dati di analisi o per creare set di dati utilizzati per i modelli di machine learning. Come interfaccia per i suoi utenti aziendali il team utilizza Metabase, uno strumento open source per le informazioni aziendali che consente agli utenti di usufruire di tutti i dati archiviati in Amazon S3 da AWS Lake Formation.

Da quando OneFootball ha implementato AWS Lake Formation, i tempi di caricamento dei dati dai databese operativi al data lake centralizzato si sono ridotti a 3-5 giorni. La copertura dei servizi di back-end rilevanti nell'ambito del suo data lake è salita dal 30 al 60 percento. Ciò ha aiutato il team a registrare una sostanziale crescita degli utenti settimanali di analisi attivi, l'indicatore interno fondamentale per le prestazioni del team, aumentando del 40 percento l'utilizzo della piattaforma di analisi.

La capacità di analisi self-service consente agli stakeholder interni di utilizzare le analisi on demand e di iterare e curare più rapidamente i set di dati per resoconti e misurazione delle prestazioni. Questo ha aumentato drasticamente il tempo che gli analisti di dati possono dedicare all'analisi esplorativa e all'estrazione di informazioni invece di eseguire query di analisi; il tempo necessario per il processo di richiesta e ricezione di informazioni sui dati si è ridotto da una media di 4-6 settimane a un massimo di 2 giorni. "In pratica, siamo un piccolo team che si occupa dei dati e serve oltre 220 persone in OneFootball, ma ora possiamo dedicare più tempo alla comprensione dei problemi aziendali piuttosto che a gestire diversi tipi di estrazione di database", afferma Durry. "Vedere che sempre più persone all'interno dell'organizzazione utilizzano quotidianamente gli strumenti di analisi è un grande risultato. Un prerequisito era avere tutte le origini dei dati integrate in modo affidabile."

OneFootball intende potenziare il proprio sistema di analisi dei dati utilizzando Amazon Kinesis Data Streams, un servizio di streaming di dati in tempo reale estremamente scalabile e durevole. "Utilizzando Amazon Kinesis Data Streams possiamo caricare i dati in un data lake per analisti e modelli di machine learning, oppure possiamo fare in modo che le applicazioni di back-end consumino dati quasi in tempo reale invece di attendere l'esecuzione dei processi ETL giornalieri", spiega Del Monte. "E il tempo di commercializzazione è molto più rapido."

Attualmente, OneFootball sta lavorando allo streaming di eventi nella sua infrastruttura di data lake, in modo da poter offrire dati quasi in tempo reale. Amazon Kinesis Data Streams carica i dati su Amazon
Elasticsearch Service, in modo che gli utenti finali possano trovare e visualizzare quasi immediatamente le informazioni che cercano.

Utilizzando AWS Lake Formation, OneFootball ha creato un data lake e un sistema di analisi dei dati che si è rivelato un grande successo per l'azienda. I team possono utilizzare l'analisi self-service per ottenere rapidamente informazioni sui dati e concentrarsi sulla trasformazione di tali informazioni in decisioni aziendali intelligenti. "Ora tutto è ben gestito in termini di numero di query eseguite sul nostro data lake", afferma Durry. "Aprendo il data lake e il data warehouse, abbiamo messo il destino nelle mani delle persone."