23andMe Menginovasi Penemuan Obat dan Terapi dengan HPC di AWS

Perusahaan genomika dan bioteknologi 23andMe menyediakan pengujian genetik langsung ke pelanggan, memberikan wawasan berharga kepada pelanggan mengenai genetika mereka. 23andMe membutuhkan lebih banyak skalabilitas dan fleksibilitas dalam komputasi performa tinggi (HPC) untuk mengelola beberapa petabita data secara efisien. Perusahaan telah menggunakan solusi on-premise, tetapi mulai menggunakan Amazon Web Services (AWS) pada tahun 2016 untuk menyimpan data penting. Pada tahun 2021, perusahaan melakukan migrasi penuh ke cloud, sebuah proses yang hanya memakan waktu 4 bulan. Sejak mengadopsi layanan AWS HPC, meliputi Amazon Elastic Compute Cloud (Amazon EC2), yang menyediakan kapasitas komputasi yang aman dan berukuran fleksibel untuk hampir semua beban kerja, serta AWS Batch, yang memungkinkan developer, ilmuwan, dan rekayasawan dengan mudah dan efisien menjalankan ratusan ribu tugas komputasi batch di AWS, 23andMe telah meningkatkan skalabilitas, fleksibilitas, dan optimisasi biayanya.

23andMe menggunakan AWS Migration Acceleration Program (AWS MAP), sebuah program migrasi cloud yang komprehensif dan telah terbukti berdasarkan pengalaman AWS kami dalam memigrasi ribuan pelanggan korporasi ke cloud. Dengan AWS MAP, 23andMe dapat mencapai migrasi yang lancar hanya dalam 4 bulan. “Apa yang ditawarkan AWS MAP kepada kami adalah kemampuan untuk melakukan peralihan yang cepat dan masif,” kata de Leon. “Biasanya saat Anda melakukan peralihan tersebut, harganya sangat mahal, tetapi AWS MAP memecahkan masalah tersebut.” 23andMe memigrasikan semua data dari pusat datanya ke cloud di AWS. Satu tahun setelah bermigrasi ke AWS, karena program AWS MAP berakhir untuk 23andMe, program ini mencapai performa harga yang sama atau lebih baik karena ketekunan tim dalam mengadopsi layanan AWS.

Mengelola direktori home berbasis file ilmuwan menghadirkan tantangan lain. Untuk mengatasi masalah ini, 23andMe beralih ke Weka, Partner AWS. Sistem file paralel WekaIO fungsional, hemat biaya, dan kompatibel dengan Amazon S3. Solusi ini membantu tim internal 23andMe menerapkan perubahan tanpa gangguan pada pengalaman pelanggan. Saat migrasi selesai, 23andMe mulai memanfaatkan layanan AWS untuk HPC, seperti Instans Amazon EC2 C5, yang memberikan performa tinggi yang hemat biaya dengan harga rendah per rasio komputasi untuk menjalankan beban kerja intensif komputasi lanjutan. 23andMe memilih tipe instans Amazon EC2 ini karena merupakan analog yang terdekat dengan sumber daya komputasi sebelumnya.

23andMe dengan cepat menemukan manfaat memiliki berbagai tipe instans Amazon EC2 yang tersedia untuk penggunaannya. “Kami memiliki seluruh menu penawaran Amazon EC2 yang tersedia bagi kami, dan salah satu cara untuk mencapai efisiensi adalah menemukan kesesuaian optimal untuk penggunaan sumber daya,” kata Justin Graham, manajer grup rekayasa infrastruktur (manager of an infrastructure engineering group) di 23andMe. Pada tahun 2022, perusahaan menggunakan banyak tipe instans secara fleksibel, termasuk Instans Amazon EC2 X2i, sebuah instans yang dioptimalkan memori generasi berikutnya yang memberikan peningkatan dalam performa, performa harga, dan biaya untuk beban kerja intensif memori. 23andMe juga menggunakan AWS Batch untuk menyediakan sumber daya yang tepat dan cocok guna menentukan tipe instans mana yang akan digunakan, yang membantu optimisasi harga performa.

23andMe dapat menskalakan sesuai permintaan agar sesuai dengan kapasitas komputasi untuk beban kerja aktual lalu menurunkan skala. “Untuk memberikan gambaran skala, kami memiliki tugas komputasi puncak yang berjalan dengan lebih dari 80.000 CPU virtual yang beroperasi sekaligus,” kata de Leon. Selain itu, menggunakan instans Amazon EC2 telah menghapus pertikaian sumber daya bagi peneliti 23andMe. “Baru-baru ini, kami menyelesaikan beban kerja produksi 3 minggu lebih cepat 33 persen dari jadwal. Sejak bermigrasi ke AWS, kami memiliki kemampuan yang tidak tertandingi saat memberikan sumber daya komputasi kepada peneliti kami,” kata Graham.

Sambil menikmati manfaat menggunakan layanan HPC di AWS ini, 23andMe tidak harus berkompromi dengan tujuan pengeluaran awalnya. “Tujuan kami adalah mempertahankan biaya yang sama, tetapi mendapatkan fleksibilitas, kemampuan, dan nilai. Penghematan bukan soal laba bersih, tetapi lebih ke arah apa yang kita peroleh dari apa yang kita belanjakan,” kata de Leon. 23andMe telah mencapai peningkatan optimisasi biaya dengan menggunakan berbagai layanan AWS, termasuk Amazon Relational Database Service (Amazon RDS), kumpulan layanan terkelola yang mempermudah penyiapan, pengoperasian, dan penskalaan basis data di cloud, serta Amazon EC2. 23andMe mendukung AWS sepenuhnya dan bertujuan untuk terus mengejar optimisasi performa harga untuk beban kerjanya.

23andMe dapat memigrasi lingkungannya yang sudah ada tanpa perubahan, dan seiring waktu mulai memasukkan lebih banyak layanan AWS ke dalam solusinya. Perusahaan mencari cara lebih lanjut untuk mengoptimalkan biaya menggunakan AWS, menjelajahi layanan seperti prosesor AWS Graviton, yang memberikan performa harga yang sangat baik untuk beban kerja cloud yang berjalan di Amazon EC2. Perusahaan menemukan peluang untuk mengoptimalkan biaya sembari mempertahankan sumber daya yang dibutuhkan untuk komputasi sesuai permintaan. “Kami sudah bermigrasi selama 10 bulan terakhir, dan tujuan akhirnya adalah untuk mendorong proses yang lebih cepat dari ide ke validasi. Peneliti kami menjadi lebih cepat dan lebih efisien, dan harapan kami adalah melihat terobosan penelitian yang besar,” kata de Leon.