Second Spectrum Mengurangi Biaya Hosting Kubernetes sebesar 90% Menggunakan AWS Load Balancer Controller dan Amazon EKS

Tumbuh dari kelompok penelitian di University of Southern California, Second Spectrum didirikan di Los Angeles pada tahun 2013. Pemirsa TV permainan atau pertandingan National Basketball Association, Major League Soccer, atau Liga Premier telah melihat teknologi Second Spectrum beraksi—misalnya, penggunaan visi komputer untuk melacak pergerakan pemain. Sebagai perusahaan rintisan, Second Spectrum berusaha untuk secara cepat bereksperimen dengan penawaran alat baru dan mendorong yang paling layak ke dalam produksi. Untuk melakukan itu, perusahaan membutuhkan perutean yang efisien agar mereka dapat menyediakan bagian-bagian tertentu dari arsitekturnya dengan cara yang dapat direplikasi.

Untuk deployment aplikasi, Second Spectrum telah menggunakan kontainerisasi sejak 2014. “Kubernetes adalah binatang buas untuk ditaklukkan,” kata Sheldon Kwok, senior director of infrastructure di Second Spectrum. “Karena ada begitu banyak bagian yang bergerak, sangat memakan waktu untuk memahami dan mengelola internal Kubernetes sendiri.

”Dalam lingkungan terkontainer ini, Second Spectrum telah mengandalkan Penyeimbang Beban Aplikasi sejak perilisannya pada tahun 2016. Penyeimbang Beban Aplikasi beroperasi pada tingkat permintaan (lapisan 7), merutekan lalu lintas ke target seperti kontainer atau alamat protokol internet. Namun, tim masih menghadapi tantangan inefisiensi. “Ada banyak sekali langkah jaringan ekstra: kita harus merutekan melalui proxy Kubernetes di NodePort yang belum tentu berada di Zona Ketersediaan (AZ) yang sama dengan layanan akhir Anda,” kata Kwok. Tim Second Spectrum tertarik untuk menghilangkan langkah ekstra ini guna meningkatkan performa.

Para teknisi di Second Spectrum tertarik ketika AWS merilis AWS Load Balancer Controller pada tahun 2020, yang mendukung pod, atau kelompok kecil kontainer aplikasi yang dapat di-deploy dan dikelola secara bersamaan. “Registrasi target protokol internet direct-pod dari AWS Load Balancer Controller memungkinkan kami untuk membersihkan dan mengonsolidasikan konfigurasi kami menjadi input Kubernetes yang mudah digunakan,” kata Kwok.

Second Spectrum menerima dukungan lebih lanjut dari Amazon EKS, yang menangani server API Kubernetes untuk perusahaan dan berfungsi sebagai alternatif yang lebih efisien untuk klaster Kubernetes yang dikelola sendiri. “Menggunakan Amazon EKS menghilangkan sulitnya mengelola Kubernetes,” kata Kwok. “Kami juga dapat lebih banyak fokus pada fitur yang terkait dengan produk.” Sambil meningkatkan produktivitas, lingkungan terkelola Amazon EKS yang ramping juga memungkinkan perusahaan menghemat biaya: “Kami sebelumnya menghabiskan sekitar 1.000 USD per bulan hanya dengan menjalankan satu klaster Kubernetes untuk server API,” kata Kwok. “Amazon EKS menghabiskan biaya sekitar 100 USD per bulan.”

AWS Load Balancer Controller dan Amazon EKS memungkinkan Second Spectrum untuk memantau pod Kubernetes secara langsung dan tidak perlu melalui langkah ekstra melewati instans dahulu. Dengan konfigurasi baru ini, tim melihat peningkatan performa sekitar 5 milidetik per permintaan—kemenangan kecil namun penting jika itu menyangkut menghadirkan pelacakan dan visualisasi yang hampir waktu nyata untuk pengalaman menonton yang lebih baik. Proses otomatis AWS ini juga banyak mengurangi potensi kesalahan manusia dalam rantai konfigurasi. “Frekuensi di mana kami mengalami masalah dengan penyeimbangan beban dan ketersediaan harusnya turun sekitar 75 persen,” kata Eric Lui, vice president of engineering operations di Second Spectrum.

Tim Second Spectrum memperkirakan bahwa konfigurasi yang lebih sederhana menghemat setidaknya 2 minggu waktu staf per tahun karena teknisi lebih siap untuk layanan mandiri daripada menunggu tim infrastruktur. Jika ditambah penggunaan Amazon EKS—yang menghilangkan waktu yang dihabiskan untuk melatih karyawan baru untuk mengoperasikan klaster Kubernetes yang dikelola sendiri—dan penghematan waktu yang diharapkan maka akan setara dengan sekitar 3 bulan penuh per tahun. Perusahaan hanya dapat menggunakan satu Penyeimbang Beban Aplikasi untuk seluruh namespace, dan AWS Load Balancer Controller dapat secara dinamis menskalakan untuk menangani arus permintaan yang masuk dan secara otomatis menghentikan perutean ke server proxy yang down.

Tim Second Spectrum melihat konfigurasi baru ini sebagai langkah penting dalam peralihannya menuju pendekatan DevOps terhadap rekayasa perangkat lunak. “Kami ingin menyerahkan alat ini ke tangan developer sehingga mereka dapat bertanggung jawab atas konfigurasi penyeimbangan beban mereka sendiri: melakukan deployment, mengujinya, dan menyiapkan pemeriksaan kondisi,” kata Lui. “Itu membuka kemampuan bagi orang-orang untuk menjadi lebih mandiri dan lebih produktif. Dalam hal dampak terhadap organisasi, itu adalah bagian penting.”

Sekarang para teknisi Second Spectrum tidak menghabiskan banyak waktu dalam mengelola klaster Kubernetes, mereka memiliki lebih banyak waktu untuk menjelajahi peluang lain. Ke depannya, tim berencana untuk memanfaatkan penghematan harga untuk beban kerja elastis dengan memigrasikan beban kerja tersebut ke AWS Fargate, mesin komputasi nirserver untuk kontainer yang bekerja bersama Amazon EKS. Selain itu, konfigurasi perutean baru dapat diskalakan dan dapat direplikasi, sehingga perusahaan dapat mempertahankan konfigurasi serupa di Eropa.

Saat Second Spectrum terus memajukan analisis olahraga, mereka mengharapkan penawaran AWS akan memainkan peran kunci. “AWS sangat terbuka dengan permintaan pelanggan. Kami sering meminta fitur baru, dan Technical Account Manager kami telah menyebutkan bahwa pelanggan lain telah meminta sesuatu yang serupa,” kata Kwok. “Kami berusaha untuk selalu memantau semua fungsionalitas baru yang disediakan AWS untuk memanfaatkan AWS sebanyak mungkin.” 

Second Spectrum didirikan di Los Angeles pada tahun 2013. Sebagai penyedia pelacakan resmi untuk National Basketball Association, Major League Soccer, dan Premier League, Second Spectrum memberikan pemahaman mesin canggih tentang permainan yang membuka wawasan cepat berbasis teknologi.

• Mengurangi biaya hosting Kubernetes sebesar 90%
• Diharapkan untuk mengurangi tingkat kesalahan sebesar 75%
• Diharapkan untuk menghemat setara dengan 3 bulan penuh per tahun dalam waktu pelatihan bidang rekayasa dan karyawan baru
• Peningkatan waktu respons aplikasi sebesar 5 milidetik per permintaan