Dropbox Menghemat Jutaan dengan Membangun Penyimpanan Metadata yang Dapat Diskalakan di Amazon DynamoDB dan Amazon S3

Didirikan pada tahun 2007 oleh dua mahasiswa Massachusetts Institute of Technology, Dropbox adalah alat kolaborasi global dan layanan berbagi file. Dropbox telah menjadi salah satu perusahaan rintisan paling sukses di dunia, dengan lebih dari 600 juta pengguna yang mengunggah lebih dari 400 miliar konten.

Penyimpanan metadata Dropbox awalnya hanya ditempatkan di dalam penyimpanan data utama perusahaan, Edgestore, yang di-hosting di basis data terdistribusi on-premise yang dibangun di atas klaster MySQL yang dipecah. Pada pertengahan tahun 2018, metadata dingin yang berkembang pesat, yaitu data yang jarang diakses, tetapi perlu disimpan dengan tahan lama dan tersedia secara instan, hanya berjarak kurang dari 2 tahun dari saat Edgestore kewalahan. Namun, meningkatkan kapasitas basis data on-premise akan membutuhkan pemisahan partisi yang ada dan membeli mesin baru untuk meng-hosting-nya, yang akan menggandakan biaya Edgestore dengan menambahkan jutaan dolar per tahun. Selain itu, menyimpan metadata dingin di basis data yang sama dengan metadata panas atau yang sering digunakan sudah tidak masuk akal lagi. “Jika Anda menulis data yang tidak dimaksudkan untuk sering dibaca, sangat mahal untuk digunakan, belum lagi tidak ada gunanya menyimpan di media yang dioptimalkan untuk kecepatan pengambilan,” kata Jonathan Lee, tech lead untuk tim Alki Dropbox.

Akibatnya, dua karyawan berpisah dari tim basis data untuk membangun Alki, solusi yang dapat menyimpan metadata dengan biaya yang efektif. Mereka berfokus terutama pada data pencatatan audit kasus penggunaan metadata dingin teratas Edgestore. Karena tim kecil Alki menghadapi tenggat waktu yang ketat dan jika meleset, berpotensi menyebabkan hilangnya metadata pengguna, maka mereka memutuskan untuk mengimplementasikan layanan terkelola dari AWS. Dengan Amazon DynamoDB dan Amazon S3, Dropbox dengan cepat membuat prototipe dan melakukan deployment penyimpanan metadata dingin di AWS hanya dalam waktu satu tahun. AWS Solutions Architects berfungsi seperti perpanjangan tim Alki Dropbox sehingga memberikan panduan preskriptif dan bantuan implementasi.

“Saat membangun sistem penyimpanan, Anda harus mempertimbangkan banyak komponen, termasuk replikasi, cadangan, dan manajemen kapasitas. Amazon DynamoDB dan Amazon S3 sangat sesuai dengan kebutuhan tersebut. Keduanya adalah standar industri,” ujar Lee. “Ini adalah masalah yang membutuhkan waktu beberapa tahun untuk dipecahkan oleh tim besar. Namun, dengan Amazon DynamoDB dan Amazon S3, kami menyederhanakan masalah ini karena AWS menangani banyak tugas kompleks, seperti replikasi data, manajemen ketahanan data, dan penyediaan perangkat keras. Baik Amazon DynamoDB maupun Amazon S3 tumbuh secara otomatis sesuai dengan kebutuhan kapasitas kami. Kami tidak perlu lagi merencanakan kapasitas dan anggaran on-premise untuk pembelian perangkat keras, lalu terjebak dengan keputusan kami selama 4 tahun.”

Tim Alki, dibantu oleh AWS Solutions Architects, membangun sistem penyimpanan metadata berbasis pohon gabungan (pohon LSM) berstruktur log, yang memiliki dua lapisan penyimpanan data: lapisan atas untuk metadata panas dan lapisan bawah untuk metadata dingin. Amazon DynamoDB bertindak sebagai lapisan penyimpanan panas yang menyerap data pencatatan audit ke enam tabel DynamoDB pada 4.000-6.000 penulisan per detik per tabel. Kemudian masing-masing tabel ini menyimpan 50–80 GB setiap hari. Pada akhir setiap hari, tim menurunkan metadata dari tabel ini ke Amazon S3 untuk penyimpanan permanen, setelah itu tabel di Amazon DynamoDB dihapus.

Pada awal tahun 2019, kurang dari 6 bulan setelah tim Alki memilih Amazon DynamoDB dan Amazon S3, Alki berada dalam tahap beta produksi yang menyerap semua data dan melayani subset dari bacaan. Pada bulan Oktober 2019, sekitar 300 TB data log audit—yang mewakili seperempat dari semua data yang disimpan di Edgestore—telah dimigrasi ke Alki, yang sekarang dalam produksi penuh.

Skalabilitas Amazon DynamoDB dan Amazon S3 membantu tim Dropbox menyelesaikan migrasi data tersebut dalam waktu kurang dari 2 minggu. “Biasanya Anda mungkin merancang sistem untuk 10 kali lipat skala yang Anda inginkan dalam kondisi stabil,” jelas Lee. “Namun, kami dapat menskalakan 100-1.000 kali di AWS tanpa mendesain sistem sebelumnya.” Tim Alki mengharapkan kondisi stabil menjadi 4.000 kueri per detik, tetapi tim Alki mampu menyediakan Amazon DynamoDB untuk 600.000 kueri per detik selama migrasi.

Menurut Lee, AWS Solutions Architects memberikan dukungan premium kepada tim Alki selama migrasi. “Kami tidak memiliki hal lain yang dapat kami katakan selain hal-hal positif tentang interaksi kami dengan tim AWS yang mengerjakan Alki. Mereka sangat proaktif saat membantu kami menemukan masalah, dengan menunjukkan bagaimana kami dapat membuat segalanya lebih cepat atau mengidentifikasi area agar kami mungkin ingin lebih berhati-hati secara operasional,” kata Lee. Tim Alki dan AWS Solutions Architects dapat tetap berkomunikasi secara konstan melalui saluran waktu nyata. Selain itu, tim Alki akan terus menuai manfaat dari kolaborasi tersebut melalui layanan terkelola AWS. “Menjalankan sistem dengan tahan lama membutuhkan keahlian, dan kami tidak memiliki keahlian itu,” kata Stas Ilinskiy, software engineer di tim Alki. “Namun, dengan Amazon DynamoDB, kami juga mendapatkan orang-orang dengan keahlian untuk menjalankannya.”

Alki menghemat jutaan dolar biaya ekspansi Dropbox dan secara signifikan mengurangi biaya gigabita per pengguna dengan Amazon DynamoDB dan Amazon S3. Edgestore milik Dropbox akan dikenakan biaya 5,5 kali lebih banyak daripada Alki per gigabita pengguna per tahun.