OneFootball Membangun Danau Data dalam Hitungan Hari Menggunakan AWS Lake Formation untuk Melayani 70 Juta Penggemar

Dari permulaannya yang sederhana sebagai salah satu dari 1.000 aplikasi pertama di App Store Apple, OneFootball telah berkembang menjadi salah satu platform media digital paling populer di dunia untuk penggemar sepak bola. Perusahaan ini menjangkau 70 juta penggemar dalam sebulan dengan menyediakan berita, skor, statistik, streaming langsung, dan sorotan dari pertandingan sepak bola di seluruh dunia. Agar berhasil melayani pengguna tersebut, tim-tim di OneFootball membutuhkan akses mudah ke basis data backend untuk membuat keputusan bisnis yang tepat serta membangun dan menguji model machine learning dengan tujuan meningkatkan pengalaman pelanggan.

Namun, guna mewujudkan permintaan tim atas wawasan data, tim ramping analitik perusahaan yang terdiri dari enam staf harus menjalankan dan mengelola berbagai beban kerja extract, transform, load (ETL) untuk silo data independen di seluruh perusahaan. Dengan proses yang kompleks dan memakan waktu tersebut, dibutuhkan 4-6 minggu bagi tugas untuk mengekstraksi data dan mengubahnya menjadi informasi yang tepat waktu dan dapat ditindaklanjuti oleh tim penjualan dan pemasaran, analis bisnis, editor berita, dan ilmuwan data. Untuk menggunakan data dengan lebih baik bagi kepentingan perusahaan dan penggemar sepak bola, OneFootball mencari solusi gesit di Amazon Web Services (AWS).

Perusahaan menggunakan AWS Lake Formation, layanan yang diluncurkan pada tahun 2019, untuk memudahkan penyiapan danau data berbasis cloud yang aman dalam hitungan hari. Untuk mengintegrasikan data dari basis data backend ke danau data tersebut, OneFootball menyederhanakan penyerapan data ke dalam danau data terpusat dan menghilangkan beban kerja ETL yang lama. Kini tugas menerima permintaan, mengekstraksi data, dan memberikan wawasan membutuhkan waktu kurang dari dua hari. Peningkatan ketersediaan data dan analitik layanan mandiri yang diaktifkan memberikan informasi yang lebih kaya dalam waktu yang lebih singkat kepada tim internal dan pengguna akhir. Infrastruktur baru ini juga mengurangi pekerjaan teknis dan mengoptimalkan produktivitas staf untuk perusahaan yang terdiri dari 220 orang yang tersebar di lima negara,
sehingga perusahaan dapat fokus pada bisnis inti.

Dibuat pada tahun 2008, OneFootball adalah platform media untuk penggemar sepak bola. Setiap bulan, OneFootball menyalurkan lebih dari 180.000 artikel dari 3.500 penyedia konten aktif—pembuat konten independen, klub, federasi, pemain, dan penyiar—kepada penggunanya setiap hari melalui situs web dan aplikasi iPhone dan Android native yang beroperasi dalam 12 bahasa. Perusahaan ini pertama kali menggunakan AWS pada tahun 2014 untuk meningkatkan skalabilitas, keandalan, dan efisiensi beban kerjanya seiring pertumbuhan basis pelanggannya yang dramatis. Selama bertahun-tahun, OneFootball telah mengalihkan seluruh platformnya ke AWS.

Untuk membuat data backend lebih tersedia bagi para pemangku kepentingan, OneFootball memutuskan untuk membangun danau data. Perusahaan sudah menggunakan Amazon Redshift, yaitu gudang data cloud paling populer dan tercepat
yang tersedia saat ini. OneFootball memutuskan untuk membuat sistem ekstraksi data sendiri menggunakan kerangka kerja yang ada untuk beroperasi dengan cepat. Semua data backend yang diekspos melalui API diekstraksi melalui skrip yang akan memeriksa data dan memasukkannya ke Amazon Redshift setiap malam. Tim OneFootball memutuskan untuk mengelola kerangka kerja ETL secara individual menggunakan cetak biru yang berbeda. Hal ini pada akhirnya akan meningkatkan utang teknis serta jumlah pemeliharaan yang harus dikelola oleh tim. “Kacau,” kata Stephan Durry, kepala data dan wawasan di
OneFootball. “Masing-masing layanan memiliki cara penanganan peringatan dan pemantauan yang berbeda: terkadang ekstraksi akan gagal tanpa kami langsung sadari sehingga data pengguna bisnis kami hilang.” Saat itulah tim beralih ke AWS Lake Formation.

“Ini bukan hanya tentang ekstraksi data,” jelas Rodrigo Del Monte, insinyur data untuk OneFootball. “Anda harus mengompres dan mempartisi data, di sinilah peran penting AWS Lake Formation.” Dengan menggunakan cetak biru yang telah dibuat sebelumnya di AWS Lake Formation, OneFootball dapat menempatkan data dalam bentuk yang tepat untuk dikonsumsi oleh Amazon Redshift dengan biaya tambahan yang sangat rendah. Kemudian, berbagai pemangku kepentingan perusahaan dapat menyerap informasi yang mereka butuhkan dengan cepat dan memilih sendiri tabel yang ingin direplikasi di danau data. Hal ini membuat data lebih mudah diakses di seluruh perusahaan serta memberikan lebih banyak waktu bagi rekayasawan data OneFootball untuk berinovasi.

Danau data OneFootball mencakup semua set basis data backend yang diperlukan untuk melakukan analitik di Amazon Simple Storage Service (Amazon S3), yaitu layanan penyimpanan objek yang menawarkan skalabilitas, ketersediaan data, keamanan, dan performa terdepan di industri. Setiap hari, OneFootball menggunakan AWS Lake Formation untuk mengekstraksi data dari danau data dan membawanya ke situs tim wawasan data. Data tersebut dimuat ke Amazon S3, kemudian Amazon Redshift dapat menjalankan kueri pada petabita data di Amazon S3 menggunakan Amazon Redshift Spectrum tanpa harus memuat atau mengubah data apa pun. “AWS Lake Formation memungkinkan kami untuk menggunakan Amazon S3 sebagai lapisan penyimpanan di atas lapisan komputasi secara langsung dan mengintegrasikannya secara mulus ke dalam infrastruktur kami yang ada,” kata Durry. “Membangun sendiri infrastruktur seperti ini sangat rumit dan akan menghabiskan banyak waktu. Jika tim perlu menyerap data baru, alih-alih membuat proyek yang kompleks, kami menyiapkan cetak biru dan menjadwalkan data tersebut tersedia setiap hari di danau data.”

Pada fase berikutnya, OneFootball menggunakan sistem extract, load, transform (ELT) untuk menyegarkan data analitik setiap hari atau untuk membuat set data yang digunakan untuk membuat model machine learning. Sebagai antarmuka bagi pengguna bisnisnya, tim memelihara Metabase, yakni alat wawasan bisnis sumber terbuka yang memungkinkan pengguna mengonsumsi semua data yang disimpan di Amazon S3 dengan AWS Lake Formation.

Sejak menerapkan AWS Lake Formation, OneFootball telah memangkas waktu tunggu untuk memuat data dari basis data operasional ke danau data terpusat menjadi 3-5 hari. Cakupan layanan backend yang relevan sebagai bagian dari danau data meningkat dari 30 menjadi 60 persen. Hal ini pada akhirnya membantu tim untuk melihat pertumbuhan substansial pengguna analitik aktif mingguan sebagai indikator performa kunci internal tim sehingga meningkatkan penggunaan platform analitik sebesar 40 persen.

Kemampuan analitik layanan mandiri memungkinkan pemangku kepentingan internal mengonsumsi analitik sesuai permintaan dan lebih cepat melakukan iterasi serta mengatur set data untuk pelaporan dan pengukuran performa. Hal ini secara drastis meningkatkan jumlah waktu yang dibutuhkan analis data untuk analisis eksploratif dan penambangan wawasan alih-alih menjalankan kueri analitik. Waktu yang dibutuhkan untuk proses meminta dan menerima wawasan data dipangkas dari rata-rata 4-6 minggu menjadi maksimum 2 hari. “Pada akhirnya, kami adalah tim data kecil yang melayani lebih dari 220 orang di OneFootball, tetapi sekarang kami dapat memanfaatkan lebih banyak waktu untuk memahami masalah bisnis daripada mempertahankan tipe ekstraksi basis data yang berbeda,” kata Durry. “Melihat semakin banyak orang di seluruh organisasi memanfaatkan analitik setiap hari adalah pencapaian yang luar biasa. Mengintegrasikan semua sumber data yang relevan secara andal merupakan prasyarat utama.”

OneFootball berencana untuk meningkatkan sistem analitik datanya menggunakan Amazon Kinesis Data Streams, layanan streaming data secara waktu nyata yang tahan lama dan dapat diskalakan secara besar-besaran. “Dengan Amazon Kinesis Data Streams, kami dapat memuat data ke dalam danau data untuk analis dan model machine learning atau meminta aplikasi backend mengonsumsi data hampir secara waktu nyata daripada menunggu tugas ETL harian berjalan,” jelas Del Monte. “Dan waktu masuk ke pasar jauh lebih cepat.”

Saat ini, OneFootball sedang mengerjakan streaming peristiwa ke dalam infrastruktur danau datanya sehingga dapat menawarkan data hampir secara waktu nyata. Amazon Kinesis Data Streams memuat data ke Amazon
Elasticsearch Service agar pengguna akhir dapat langsung menemukan dan melihat informasi yang mereka inginkan.

Dengan menggunakan AWS Lake Formation, OneFootball membangun danau data dan sistem analitik data yang telah terbukti memberikan kontribusi besar bagi perusahaan. Tim dapat menggunakan analitik layanan mandiri untuk mendorong wawasan data dengan cepat lalu fokus mengubah wawasan tersebut menjadi keputusan bisnis yang cerdas. “Saat ini semuanya dikelola dengan baik terkait jumlah kueri yang dijalankan pada danau data kami,” terang Durry. “Dengan membuka danau data dan gudang data, kami meletakkan masa depan di tangan masyarakat.”