Elevenia Menerapkan Budaya Data-Driven dengan Platform AWS Analytics

Megaxus

Budaya Data-Driven

Banyak perusahaan yang berusaha untuk menerapkan data-driven, tetapi sedikit yang mengerti tentang bagaimana cara melakukannya. Pada tahun 2016, para pemimpin di situs e-commerce Elevenia memiliki ide besar: untuk menerapkan budaya data-driven, mereka akan membangun platform cloud-based analisis yang didukung penuh oleh real-time business intelligence (BI). Elevenia diluncurkan pada tahun 2014 di Indonesia sebagai situs belanja online untuk customer-to-customer (C2C). Pada tahun 2018, situs ini memiliki lebih dari 4,8 juta produk yang terdaftar dan dengan rata-rata 13.000 transaksi sehari.

Untuk mewujudkan ide ini, Elevenia membentuk sebuah tim manajemen data termasuk data scientist, data engineers, dan analis BI. Tim ini akan secara langsung berkontribusi pada pengembangan produk dengan mengintegrasikan analisi pada tahap awal siklus pengembangan produknya. Elevenia memilih untuk membangun infrastruktur BI khusus di Amazon Web Services (AWS) Cloud, karena salah satu bisnis perusahaan induknya sudah berhasil berjalan di AWS. Prioritas untuk infrastruktur baru ini termasuk kapasitas untuk penskalaan, membangun nilai dengan operasional yang minimal, dan setidaknya memiliki uptime sebanyak 95 persen.

“Dengan AWS Cloud, kami bisa membangun model analisis yang lebih kompleks dan berskala."

Rangga Sobiran, Kepala Arsitektur Data dan BI, Elevenia

 

  • Tentang Elevenia
  • Keuntungan
  • Layanan AWS yang Digunakan
  • Tentang Elevenia
  • Elevenia adalah situs belanja online dengan konsep open marketplace di Indonesia. Diluncurkan pada tahun 2014, situs ini memiliki lebih dari 4,8 juta produk yang terdaftar dan rata-rata 13.000 transaksi sehari.

  • Keuntungan
    • Menghemat hampir $20.000 setiap bulan dengan membangun alat analisis in-house
    • Menjaga agar jumlah operasional tetap rendah dengan otomatisasi dan layanan yang terkelola
    • Memfasilitasi pembelajaran dan memperluas skill set untuk tim manajemen data
    • Menawarkan fleksibilitas dan kecerdasan untuk mendukung model analisis yang
      mendalam
    • Meningkatkan kualitas produk dengan machine learning
       
  • Layanan AWS yang Digunakan

Dari On Premises ke On Demand

Hingga tahun 2016, Elevenia telah menjalankan semua operasi dan beberapa analisisnya menggunakan server Oracle. "Karena operasional dan BI berbagi sumber daya server, analis harus konservatif dalam mengeksekusi permintaan, terutama untuk analisis mendalam," kata Rangga Sobiran, kepala arsitektur data dan BI di Elevenia. "Latensi yang tinggi menyebabkan keterlambatan dalam menjawab permintaan, dan kami juga harus menghindari downtime di bisnis inti."

Untuk membangun data warehouse — dan, selanjutnya, sebuah data lake — Rangga memutuskan untuk mengambil keuntungan dari Amazon Simple Storage Service (Amazon S3), Amazon S3 Glacier dan Amazon Redshift. “Dengan menggunakan Amazon Redshift, kami bisa menyimpan data yang tidak terstruktur seperti JavaScript Object Notation [JSON], dan sebagian besar data-event dalam format JSON. Kami pun bisa menyimpan semuanya di Amazon S3, menjalankan SQL pada data yang tersimpan di Amazon S3 tersebut dan melakukan pekerjaan analisis yang tidak mungkin dilakukan di Oracle,” kata Rangga. Dengan Amazon S3, tim Elevenia sekarang memiliki penyimpanan yang terjangkau dengan pengadaan yang siap segera, sebuah kemajuan besar atas model on-premises. Uptime pun telah dipenuhi secara konsisten atau telah melampaui target 95 persen.

“Sekarang kami memiliki fleksibilitas akan bagaimana kami ingin mencapai transformasi dalam data warehouse kami,” kata Rangga. “Dengan AWS Cloud, kami juga bisa membangun model analisis yang lebih kompleks dan berskala. Karena Amazon Redshift dibuat untuk jenis permintaan analisis, kinerjanya pun lebih baik dari yang pernah kami pakai sebelumnya. "Tim kami juga mendapat manfaat dari kemudahan interface dengan layanan AWS lainnya seperti Amazon Kinesis, yang biasa digunakan untuk arsitektur clickstream.

Diagram di bawah ini mengilustrasikan infrastruktur AWS untuk pipeline clickstream di Elevenia:

AWS Infrastructure for clickstream pipeline at Elevenia

Kontainer memudahkan penyebaran

Tidak lama setelah membentuk tim manajemen data dan infrastruktur, Rangga pun melakukan tes. Elevenia telah membayar software as a service (SaaS) untuk menjalankan sistem rekomendasi di situs belanjanya. Karena tim baru mereka memiliki pengalaman terbatas menggunakan bahasa pemograman Python, mereka pun memutuskan untuk mencoba membangun mesin sendiri untuk membandingkan biaya dan performa. Dengan AWS Cloud yang memfasilitasi eksperimen, anggota tim pun bersemangat untuk mencoba hal-hal baru.

“Cukup sulit bagi kami untuk melakukan semuanya dengan benar di tahap awal, sehingga terjadi banyak trial dan error. Sistem ini bekerja sangat baik di cloud karena kami bisa membuat bukti konsep dan menjalankannya selama dua minggu, dan jika tidak berhasil, kami pun bisa mencetuskan ide baru dan mencoba lagi,” kata Rangga.

Untuk menyederhanakan proses penyebaran untuk mesin rekomendasi baru, tim kami membangun kontainer Docker menggunakan Amazon Elastic Container Service (Amazon ECS). “Dalam jangka panjang, kami merasa bahwa kontainer akan memudahkan kami untuk menyebarkan mesin ke manapun, bahkan dalam skala besar,” kata Rangga. Para engineer kami menggunakan Amazon Fargate dengan Amazon ECS untuk mengotomatisasi penyebaran layanan kontainer, termasuk untuk klaster pada mesin virtual. “Kami benar-benar menyukai konsep tanpa server ini karena membutuhkan pemeliharaan operasional yang minimal,” tambahnya.

Penghematan Substansial

Setelah mengembangkan mesin rekomendasinya, Elevenia membandingkan tingkat klik dari sistem buatannya dengan sistem yang disediakan oleh vendor SaaS. Meskipun persentase klik dan persentase konversi meningkat hanya 0,1 persen dengan model buatan sendiri, Elevenia mampu menghemat $ 5.000 untuk biaya bulanan dari menggunakan vendor SaaS. " Hal ini sangat penting bagi kami, karena pada dasarnya kami membayar jauh lebih sedikit tetapi mendapatkan hasil yang sama," kata Rangga.

Perusahaan ini juga telah mencatat penghematan yang subtansial dengan menghentikan langganannya pada Google Analytics Premium untuk melacak data secara real-time. Sebagai gantinya, Elevenia telah mengadopsi teknologi open-source Snowplow, yang dikonfigurasi untuk dijalankan pada Amazon Kinesis. Dengan Amazon Kinesis dan penyimpanan Amazon S3 yang mendukung pipeline Snowplow clickstream, Elevenia sekarang membayar kurang dari dua persen per bulan dibandingkan dengan apa yang mereka bayarkan untuk Google Analytics. Hal ini menghasilkan total penghematan biaya bulanan menjadi hampir $ 20.000 dengan AWS Cloud dan produk-produk open-source.

Model Machine-Learning Baru

Dengan mesin rekomendasinya dan platform analitik, tim data Elevenia berfokus pada peningkatan kualitas produk. Mereka sedang membangun model machine-learning (ML) menggunakan Amazon SageMaker dan Amazon Rekognition untuk menilai kualitas gambar yang diunggah oleh vendor di situs belanja Elevenia. Penjual sering mengunggah gambar beresolusi rendah atau yang memiliki watermark dari pasar online yang sedang bersaing ini. Saat selesai, model ML akan menilai setiap gambar dan memberitahu penjual jika gambar berkualitas buruk.

Mengembangkan DevOps

Elevenia mentransformasi bisnisnya dengan platform analisis, baik dari segi biaya maupun sumber daya manusianya. “Menggunakan AWS Cloud memudahkan tim saya untuk memperluas keahlian mereka,” jelas Rangga. “Bagi mereka dengan latar belakang data warehouse tradisional, coding bisa jadi menakutkan. Tetapi dengan AWS Cloud, kami bisa menghemat banyak waktu dan menghilangkan kebutuhan untuk mempelajari semuanya dari awal. "

Tim data kami juga memberikan respon yang positif, yang termotivasi untuk menjelajahi fitur-fitur baru di AWS dan belajar melalui video dan dokumentasi online. “Sebuah perjalanan yang sangat menarik,” Rangga menyimpulkan. "Kami terus-menerus memiliki cara baru untuk bereksperimen dan ini sangat menyenangkan."

Pelajari Lebih Lanjut

Pelajari lebih lanjut mengenai Ecommerce Applications