GumGum Menghemat 62% Penawaran Waktu Nyata dan Machine Learning Menggunakan Instans Spot Amazon EC2

GumGum Inc. (GumGum) adalah perusahaan teknologi periklanan yang menggunakan penglihatan komputer dan pemrosesan bahasa alami (NLP) untuk menghadirkan kampanye iklan yang relevan secara kontekstual bagi merek dan agensi di seluruh dunia. Untuk melakukan hal ini, perusahaan menjalankan pertukaran iklan dan platform iklan sisi penawaran yang melakukan 30 miliar transaksi dan memproses 100 TB data per hari.

Sejak tahun 2010, GumGum telah menjalankan teknologi periklanan, machine learning, dan sistem pemrosesan data di Amazon Web Services (AWS). “Semua pertumbuhan dan kerja keras kami yang sangat berarti berhasil dicapai di AWS,” ujar Vaibhav Puranik, senior vice president of engineering di GumGum. “Kini ribuan penerbit mengajukan miliaran permintaan penawaran untuk menayangkan iklan kepada kami. Seiring pertumbuhan AWS, adopsi kami terhadap layanan AWS pun meningkat.”

GumGum baru-baru ini memulai inisiatif optimisasi biaya di seluruh organisasi, yang berfokus pada pengurangan biaya untuk beban kerja teknologi periklanan intensif komputasi, seperti penawaran waktu nyata, analitik iklan, dan analisis periklanan kontekstual.

Perusahaan menukar instans CPU-nya dengan klaster GPU di Amazon Elastic Compute Cloud (Amazon EC2), yang sekarang memproses ribuan peristiwa secara bersamaan sehingga menghemat pengeluaran GumGum sebesar 12.000 USD per bulan. Perusahaan juga memprioritaskan penggunaan arsitektur stateless sehingga dapat membatu memanfaatkan Instans Spot Amazon EC2, yang memungkinkan deployment memanfaatkan kapasitas Amazon EC2 yang tidak digunakan dengan harga diskon besar.

“Instans Spot Amazon EC2 adalah bagian yang tidak dapat dipisahkan dari arsitektur kami,” kata Puranik. “Apa pun yang kami luncurkan hari ini, kami desain untuk berjalan di Instans Spot Amazon EC2.” Perusahaan juga menggunakan pustaka sumber terbuka yang disebut AutoSpotting untuk mengelola klaster Instans Spot Amazon EC2, yang memungkinkan ketersediaan tinggi dan penyediaan otomatis Instans Spot Amazon EC2 baru untuk menangani lonjakan lalu lintas. “Dengan memindahkan komputasi ke Instans Spot Amazon EC2, GumGum telah menghemat 62 persen biaya komputasi,” tambah Puranik.

GumGum juga menggunakan AWS Savings Plans untuk mencapai penghematan lebih lanjut melalui Instans Sesuai Permintaan Amazon EC2 dengan imbalan komitmen untuk menggunakan sejumlah daya komputasi selama periode 1 atau 3 tahun. Dengan satu reservasi AWS Savings Plans, perusahaan menghemat 7.000 USD per bulan. GumGum juga menganalisis dan mempertimbangkan kembali kebijakan retensi data dan tingkat penyimpanannya di Amazon Simple Storage Service (Amazon S3), yang menambah penghematan bulanan sebesar 45.000 USD untuk penyimpanan file.

GumGum menggunakan machine learning untuk menemukan konten yang relevan secara kontekstual dan memblokir konten yang mengancam merek di dekat inventaris iklan dengan cara menganalisis gambar, video, dan teks pada 20 juta halaman web unik per hari.

“Kami menganalisis semua komponen ini secara terpisah, lalu melakukan fusi akhir, yang berarti bahwa kami mengambil skor dari semua analisis ini, menggabungkannya bersama, dan menghasilkan satu skor untuk satu halaman,” kata Puranik. Skor tersebut membantu GumGum menentukan iklan mana yang memiliki performa terbaik di setiap halaman dan pada akhirnya membantu memaksimalkan harga iklan dan hasil inventaris untuk pelanggannya. Kerangka kerja analisis kontekstual perusahaan dibuat di atas model deep learning yang dibangun di atas PyTorch dan TensorFlow yang berjalan pada instans Amazon EC2.

GumGum menggunakan Amazon DynamoDB, basis data nilai kunci dan dokumen yang memberikan performa milidetik satu digit pada skala apa pun, untuk menyimpan inferensi yang dihasilkan oleh analisis kontekstual GumGum dan sistem keamanan merek. Karena GumGum harus beroperasi dan menskalakan dalam margin lebar milidetik, mereka juga menggunakan Amazon DynamoDB Accelerator sebagai cache peningkatan kecepatan untuk Amazon DynamoDB. Hal ini memungkinkan server iklan GumGum mengakses hasil yang disimpan hanya dengan latensi 2–3 milidetik. Perusahaan menghemat sebanyak 70 persen dengan Amazon DynamoDB dibandingkan dengan sistem berbasis Apache Cassandra yang digantikannya.

Untuk instans komputasi yang menenagai aplikasi machine learning, GumGum beralih ke Instans Spot Amazon EC2 dan Instans G4 Amazon EC2, yang memiliki kemampuan FP16 untuk pelatihan dan throughput jaringan hingga 100 Gbps. Peralihan ini memungkinkan “inferensi yang empat kali lebih cepat dan dibuat untuk model yang lebih kecil, yang berarti kami dapat melakukan lebih banyak inferensi secara paralel,” kata Corey Gale, DevOps manager di GumGum.  

GumGum berencana untuk memperluas penggunaan penglihatan komputer dan NLP yang berjalan di AWS untuk mendorong pendapatan tambahan untuk produk analitik kontekstualnya, Verity. Hari ini, Verity “dikemas sebagai API untuk penerbit dan DSP yang ingin memanfaatkan penentuan kontekstual dan kemampuan keamanan merek kami,” kata Puranik. GumGum juga telah menantang dirinya untuk meningkatkan pemrosesan hariannya dari 20 juta menjadi 200 juta halaman.