Mercado Libre Menskalakan Bisnisnya, Meningkatkan Keandalan dalam Memigrasikan 5.000 Basis Data ke Amazon DynamoDB

Didirikan di Argentina pada tahun 1999, Mercado Libre memiliki dua bisnis utama: perdagangan elektronik dan teknologi finansial. Dalam ranah tersebut, perusahaan menawarkan berbagai layanan, termasuk online marketplace, sistem pembayaran digital, periklanan, logistik, dan penawaran kredit. Tujuan utamanya adalah untuk mendemokratisasi perdagangan, pembayaran, dan uang untuk membuat perbedaan dalam kehidupan jutaan orang di Amerika Latin.

Pada awalnya Mercado Libre membangun solusinya di virtual private cloud, dengan setiap tim internal bertanggung jawab untuk menangani infrastruktur, aplikasi, dan pemeliharaannya sendiri. Misalnya, setiap tim menentukan jenis basis data yang akan digunakan. Meskipun pada awalnya ini adalah kunci untuk pertumbuhan yang cepat, seiring dengan bertambahnya jumlah tim dan meningkatnya lalu lintas, banyaknya tumpukan teknologi tersebut mempersulit pertumbuhan yang berkelanjutan. Perusahaan tersebut membangun solusi baru untuk timnya yang menyertakan kit pengembangan perangkat lunak berpemilik dan API kustom. Untuk basis data NoSQL, alih-alih menyediakan akses langsung ke solusi apa pun, perusahaan membangun lapisan abstraksi sehingga semua tim berbicara bahasa yang sama. Pada awalnya, Mercado Libre membangun abstraksi basis data utama nilai kuncinya di mesin basis data sumber terbuka yang dikelola sendiri, sebuah solusi yang kemudian berkembang menjadi 5.000 basis data.

Namun seiring dengan berjalannya waktu, Mercado Libre menyadari bahwa mereka tidak mendapatkan semua fitur yang dibutuhkan dari mesin yang dipilih. Selain itu, dalam mengelola lebih dari 30 klaster dibutuhkan pemeliharaan yang rutin, yang mengakibatkan insiden timeout, kesalahan, dan waktu henti. Pada awal tahun 2019, Mercado Libre memulai migrasinya ke Amazon DynamoDB. “Dengan keandalan Amazon DynamoDB, kami dapat menghindari biaya waktu henti,” kata Oscar Mullin, direktur TI dan kepala layanan inti, rekayasa keandalan situs, dan administrasi basis data (director of IT and head of core services, site reliability engineering, and database administration) di Mercado Libre. Dengan memanfaatkan abstraksi umum, perusahaan tersebut memigrasikan 5.000 basis data tanpa memerlukan siapa pun dalam organisasi untuk mengubah satu baris kode atau mengubah peta panduan bisnis.

Mercado Libre menggunakan Amazon DynamoDB bersama dengan layanan AWS lain yang digunakan Mercado Libre untuk menjalankan misinya. Ada juga aplikasi bisnis lain yang sangat penting, seperti Amazon Elastic Compute Cloud (Amazon EC2), sebuah layanan web yang menyediakan kapasitas komputasi yang aman dan dapat diubah ukurannya di cloud, serta Amazon Simple Storage Service (Amazon S3), sebuah layanan penyimpanan objek yang menawarkan skalabilitas, ketersediaan data, keamanan, dan performa terdepan di industri.

Dengan menggunakan kekuatan gabungan solusi AWS, Mercado Libre mampu menangani semua kebutuhan penskalaannya tanpa memengaruhi performa. Sebelumnya, perusahaan tersebut menghabiskan banyak waktu untuk mempersiapkan peristiwa penskalaan seperti liburan, dan pada saat itu penskalaan adalah hal yang kompleks. Selain itu, sebagai akibat dari peristiwa tak terduga seperti pandemi COVID-19, semakin banyak orang beralih ke perdagangan elektronik dan pembayaran digital, yang meningkatkan lalu lintas Mercado Libre secara signifikan. Sebagai bagian dari misi inklusinya, Mercado Libre bertujuan untuk menggunakan AWS guna memperluas penawarannya ke lebih banyak bisnis kecil. “Membuat aplikasi inti menggunakan abstraksi kami berdasarkan Amazon DynamoDB merupakan hal yang sangat penting,” kata Mullin. “Jika tidak, mengatasi peningkatan lalu lintas tersebut sambil menjaga tingkat ketersediaan akan menjadi hal yang sangat rumit.” Kemampuan penskalaan otomatis Amazon DynamoDB juga terbukti sangat berharga saat perusahaan perlu menurunkan skala, membantunya mencegah kapasitas tak terpakai, mengurangi limbah, dan memangkas biaya. “Tidak seperti solusi kami sebelumnya, penurunan skala di Amazon DynamoDB sangatlah sederhana,” kata Mullin.

Arsitektur multi-Wilayah AWS yang didukung oleh Amazon DynamoDB juga memecahkan masalah ketersediaan untuk Mercado Libre. Alih-alih harus mentransfer data yang ditemukan di tabel terpisah, perusahaan tersebut menggunakan tabel global Amazon DynamoDB, yang mereplikasi tabel secara otomatis di seluruh Wilayah pilihan perusahaan untuk toleransi kesalahan multiwilayah. Basis data multi-Wilayah dan multi-aktif yang dikelola sepenuhnya ini membantu memberikan performa baca/tulis lokal yang cepat ke jutaan pelanggan yang tersebar di seluruh dunia. “Kami memiliki kemampuan untuk menjadi multi-Wilayah hanya dengan satu klik,” kata Mullin. “Semua data historis kami juga berpindah ke Wilayah lain secara otomatis.” Perubahan ke satu tabel yang menyebar dengan lancar ke Wilayah lain menghemat waktu perusahaan. Di mana pun pengguna berada, mereka dapat mengakses data dengan latensi rendah. Faktanya, persentil ke sembilan puluh sembilan dari gabungan latensi pembacaan API dan Amazon DynamoDB adalah hanya 6 ms untuk permintaan baca. Bahkan latensi tidak terganggu saat permintaan mencapai laju 300 juta per menit. Selain itu, Mercado Libre tidak lagi perlu menavigasi proses yang kompleks hanya untuk mendapatkan pencadangan harian, karena Amazon DynamoDB menawarkan pemulihan tepat waktu untuk pencadangan otomatis yang berkelanjutan.

Pendekatan Mercado Libre terhadap layanan termasuk membangun layanan yang saling terkait yang menyediakan integrasi transparan dan sesederhana mungkin untuk developernya. Untuk mencapai integrasi ini dengan penyimpanan nilai-kunci, Mercado Libre beralih ke Amazon DynamoDB Streams, yang menangkap urutan waktu modifikasi tingkat item di tabel Amazon DynamoDB dan menyimpan informasi tersebut di dalam log selama 24 jam. Selain itu, DynamoDB Streams bekerja sama dengan Amazon DynamoDB dalam menghapus informasi yang tidak relevan dari tabel secara otomatis, semuanya tanpa biaya tambahan. Mercado Libre dapat menggunakan Amazon DynamoDB untuk menghapus item yang sudah kedaluwarsa ini dengan menggunakan ekspirasi time-to-live, yang menghapus item yang tidak diinginkan atau tidak relevan di latar belakang tanpa menggunakan throughput tulis apa pun. Selain itu, dengan menggunakan DynamoDB Streams, perusahaan dapat merekam penghapusan dan mencadangkan atau memproses data saat kedaluwarsa. “DynamoDB Streams adalah fitur yang hebat,” kata Mullin. “Dengan menggunakan kemampuan otomatisnya, kami tidak perlu melakukan banyak tugas sendiri, sebuah proses yang rumit dan rawan kesalahan.”

Meskipun pada awalnya Mercado Libre memilih Amazon DynamoDB sebagai cara untuk mengurangi biaya operasional tambahan dan mendukung skala besar, developernya terus menghadirkan kemampuan baru, sehingga mendorong kemampuan perusahaan untuk berinovasi dan terus berkembang di Amerika Latin. “Ketika kami menganalisis alternatif untuk pengaturan kami sebelumnya, untuk apa yang kami butuhkan, sudah jelas Amazon DynamoDB adalah pemenangnya,” kata Mullin. “Kami juga terus mendapatkan nilai darinya dengan membangun abstraksi baru, seperti indeks sekunder atau kemampuan keamanan.”