Bagaimana Emerald Cloud Lab Merevolusi Laboratorium Menggunakan AWS

Posting tamu oleh Ben Smith, VP of Engineering dan Kevin J. Hou, Scientific Computing Engineer, Emerald Cloud Lab

Emerald Cloud Lab (ECL) menyediakan akses ke laboratorium yang sangat otomatis, dilengkapi dengan lebih dari 200 instrumen ilmiah unik, untuk setiap ilmuwan dengan komputer dan koneksi internet. Laboratorium basah kami, yaitu bangku lab bergambar, bahan kimia berbahaya, jas lab, dan kacamata pengaman, memiliki kemampuan eksperimental yang beragam dengan penekanan pada bioteknologi, dan mendukung berbagai perusahaan termasuk pengembangan obat, produk konsumen, dan penelitian akademis.

Platform kami membantu para ilmuwan untuk merancang, melaksanakan, menganalisis, dan menginterpretasikan eksperimen laboratorium basah mereka dari mana saja di seluruh dunia. Para ilmuwan cukup mengirimkan sampel mereka, apa pun mulai dari tabung reaksi dan pelat kultur sel hingga produk komersial, ke ECL dan merancang protokol eksperimental melalui antarmuka perangkat lunak. Eksperimen ini kemudian dijalankan persis seperti yang ditentukan dalam alur kerja ECL. Setelah eksperimen selesai, para ilmuwan dapat menganalisis dan menginterpretasikan data mereka dalam antarmuka perangkat lunak yang sama dan diakhiri dengan catatan eksekusi dan hasil eksperimen yang terstruktur dengan baik, mudah dinavigasi, dan lengkap. ECL menawarkan banyak sekali manfaat bagi para ilmuwan di universitas, perusahaan farmasi besar, dan startup, seperti:

Pengurangan Pengeluaran Modal – Sebagian besar biaya penelitian bioteknologi biasanya terletak pada pembangunan dan pengoperasian laboratorium. Pembelian dan pemasangan masing-masing instrumen bisa memakan waktu berbulan-bulan, dan total biaya peralatan yang diperlukan bisa mencapai lebih dari 10 juta USD. Selain itu, masih ada biaya berkelanjutan terkait pemesanan bahan habis pakai, pemeliharaan instrumen, dan pelaksanaan kualifikasi. Emerald Cloud Lab menawarkan akses selama satu tahun ke laboratorium terkelola penuh yang dilengkapi dengan instrumentasi mutakhir seharga kurang dari biaya satu instrumen. Hal ini secara substansial menurunkan biaya masuk bagi startup yang ingin melakukan penelitian baru dan inovatif.

Efisiensi – Perkembangan ilmiah sering kali terhambat oleh rumitnya desain eksperimen dan operasi yang diperlukan untuk menjalankannya. Saat ini, banyak ilmuwan menghabiskan 80% atau lebih waktu mereka untuk mengelola logistik sains (memesan bahan, menyiapkan instrumen, menunggu instrumen berjalan, dll.) alih-alih untuk sains itu sendiri (membentuk hipotesis, merancang eksperimen, menganalisis hasil, dll.). ECL memungkinkan para ilmuwan untuk fokus pada sains, menyerahkan logistik kepada ECL, dengan keyakinan bahwa eksperimen mereka akan dilakukan persis seperti yang ditentukan.

Selain itu, Emerald Cloud Lab menggunakan kombinasi otomatisasi laboratorium dan efisiensi operasional berbasis teknologi untuk memberikan throughput eksperimental yang tidak dapat dicapai di laboratorium tradisional. Laboratorium cloud beroperasi 7x24 jam, dan dengan memanfaatkan skala ekonomis ini, hasil ilmiah dapat ditingkatkan dan biaya operasi yang rendah dapat dipertahankan. Semua ini terwujud dalam peningkatan jumlah eksperimen sebanyak 5—8x lipat yang dapat dilakukan oleh seorang ilmuwan dengan menggunakan ECL dibandingkan dengan laboratorium tradisional.

Reproduktifitas – Mereproduksi hasil eksperimen adalah salah satu tantangan utama dalam penelitian ilmiah. Hasil yang tidak dapat direproduksi biasanya disebabkan oleh instrumentasi yang tidak dapat diandalkan, protokol yang tidak terdokumentasi dengan baik, dan data yang hilang atau tidak lengkap. Emerald Cloud Lab mengatasi masalah ini menggunakan integrasi yang kuat dengan teknologi. Misalnya, kami menggunakan robotic liquid handler untuk persiapan bahan kimia yang tepat, dan perangkat lunak terintegrasi untuk memastikan pengukuran terperinci (misalnya suhu, berat, volume) dicatat ke dalam buku catatan laboratorium digital untuk setiap operasi yang dilakukan di laboratorium. Kombinasi otomatisasi, pemantauan ekstensif, dan operasi prosedural ini memastikan tidak ada data yang hilang dan semua protokol terdokumentasi dengan baik. Selanjutnya, protokol eksperimental diabstraksikan dalam Symbolic Lab Language (SLL) kami sehingga memastikan bahwa pengulangan eksperimen dengan pengaturan yang sama sesederhana menjalankan kembali beberapa baris kode.

Mengapa AWS?

Seiring dengan berkembangnya laboratorium cloud kami untuk memenuhi permintaan yang terus meningkat, kami menghadapi kebutuhan yang semakin besar akan komputasi yang dapat diskalakan dan sesuai permintaan. Hal ini didorong oleh penambahan instrumen ke laboratorium fisik dan peningkatan penelitian berbasis pelanggan, di mana pekerjaan intensif komputasi, seperti simulasi dan analisis gambar telah diintegrasikan ke dalam alur kerja eksperimental. Layanan AWS nirserver terkelola penuh merupakan solusi yang tepat untuk memenuhi kebutuhan yang terus meningkat ini. Skalabilitas yang melekat dan struktur biaya bayar per penggunaan dari layanan ini memberikan keuntungan penting bagi bisnis kami yang berkembang pesat, dan memungkinkan kami untuk berkembang tanpa hambatan untuk memenuhi permintaan komputasional yang terus meningkat.

Untuk memenuhi kebutuhan yang dijelaskan di atas, kami membangun Manifold, arsitektur berbasis layanan mikro yang berjalan di AWS Fargate, yang kami gunakan untuk menyediakan komputasi asinkron sesuai permintaan bagi pengguna internal dan eksternal Emerald Cloud Lab. Manifold memungkinkan pengguna untuk menjalankan kode yang dikontainerisasi secara arbitrer dengan akses penuh ke API dan basis data laboratorium kami, yaitu dengan akses penuh ke laboratorium cloud dan data eksperimental.

Sejak deployment penuh pada bulan November 2021, Manifold telah mengaktifkan otomatisasi penuh skrip lab rutin, seperti pemeriksaan inventaris, kualifikasi instrumen, dan penjadwalan eksperimen. Jika sebelumnya kami mengalami kesulitan untuk menjalankan ~1.000 skrip/minggu secara andal dengan sumber daya komputasi yang kami miliki di lokasi, AWS telah membantu kami meningkatkan skala hingga ~5.000 skrip/minggu di cloud tanpa hambatan. Hal ini telah memperluas cakupan otomatisasi di lab sehingga tugas-tugas rutin dapat dijalankan lebih sering dengan lebih sedikit kesalahan. Terlebih lagi, migrasi infrastruktur lab rutin kami ke AWS juga berhasil mencapai waktu aktif 100% pada layanan komputasi jarak jauh sehingga arsitektur komputasional kami dapat tetap berfungsi meskipun terjadi peristiwa tak terduga, seperti pemadaman listrik dan penutupan lab.

Arsitektur Manifold

Di tingkat tinggi, Manifold terdiri dari API yang memungkinkan pengguna untuk menentukan tugas komputasi dan mendukung komponen AWS yang menjadwalkan dan menjalankan tugas-tugas ini. Pengguna kami berinteraksi dengan layanan ini melalui aplikasi desktop dan browser, tempat mereka melakukan panggilan API (dalam Bahasa Lab Symbolik) untuk mengunggah definisi tugas ke basis data internal kami, yaitu Constellation. Untuk dapat menghubungkan unggahan tugas ini ke komponen kami yang lain, kami menggunakan Amazon Kinesis untuk mengalirkan perubahan dari Constellation ke arsitektur nirserver kami yang lain.

Amazon DynamoDB digunakan untuk menyimpan status internal untuk fungsi AWS Lambda.

Selanjutnya, kami menggunakan fungsi AWS Lambda sebagai metode yang ringan dan dapat diskalakan untuk memproses aliran perubahan basis data. Fungsi lambda ini, bersama dengan tabel DynamoDB untuk menyimpan status internal, digunakan untuk menyediakan sumber daya dan menjadwalkan tugas. Fungsi lambda kemudian meneruskan tugas komputasi ke layanan komputasi kami, Fargate, menggunakan antrean SQS. Fargate adalah kunci utama dari arsitektur Manifold. Kemudahan dalam melakukan deployment kontainer secara cepat dengan berbagai konfigurasi dan izin sangat penting untuk memenuhi kebutuhan komputasional yang beragam, baik bagi pelanggan maupun developer internal kami.

Arsitektur berbasis basis data yang dijelaskan di atas tidak hanya memungkinkan perhitungan asinkron sesuai permintaan, tetapi juga memungkinkan tugas berjalan pada waktu yang dijadwalkan atau sebagai respons terhadap perubahan lain dalam basis data. Secara internal, kami menggunakan layanan Manifold untuk menjalankan tugas rutin, seperti pengujian unit, pemeriksaan sensor, dan skrip pemeliharaan. Infrastruktur yang sama ini juga digunakan untuk menyediakan layanan kepada pelanggan di mana mereka dapat mengirimkan analisis jangka panjang, seperti simulasi dan analisis video ke sumber daya yang dikelola, dengan akses penuh dan integrasi dengan data eksperimental.

Tantangan

Melakukan deployment Manifold mengharuskan kami untuk mengatasi beberapa tantangan yang muncul dari beban variabel dan beragam pekerjaan yang dikirimkan ke layanan ini. Untungnya, AWS memberi kami alat penting untuk mengatasi masalah ini.

Di laboratorium cloud, tugas sering kali dikirimkan secara bersamaan. Misalnya, setelah menyelesaikan protokol eksperimental yang panjang, sejumlah besar tugas dapat dikirimkan untuk memproses data eksperimental yang baru saja dihasilkan. AWS Fargate memungkinkan kami untuk dengan mudah menaikkan dan menurunkan skala komputasi untuk memenuhi permintaan yang berfluktuasi ini. Lebih luas lagi, kami juga memanfaatkan alat pemantauan dan manajemen di AWS, seperti AWS CloudTrail dan Amazon CloudWatch, untuk mengimplementasikan pembatasan kecepatan, yang memperlancar penggunaan dan memungkinkan kami untuk menetapkan batas dan prioritas pada pengiriman tugas per pengguna.

Setelah deployment uji coba awal, kami memutuskan bahwa membangun pencatatan yang kuat ke dalam Manifold akan sangat penting untuk keberhasilannya. Untuk memberikan pengalaman pengguna yang optimal, kami berusaha membuat alat bagi pengguna untuk memantau dan mengelola tugas Manifold mereka. Untuk mencapai hal ini, kami menyiapkan infrastruktur untuk secara selektif mengunggah informasi pencatatan, pembaruan status, dan potensi kesalahan dari Fargate langsung ke basis data Constellation kami. Hal ini memungkinkan kami untuk menyediakan dasbor yang telah dikurasi kepada pengguna yang menunjukkan status tugas, kemajuan, batas penggunaan, serta kode kesalahan dan jejak untuk melakukan debug perhitungan yang dikirimkan pengguna.

Penutup

AWS telah memungkinkan kami untuk membangun Manifold, layanan terpadu untuk komputasi jarak jauh yang mendukung operasi laboratorium dan menyediakan layanan komputasional bagi pelanggan kami. Pergerakan menuju komputasi cloud di Emerald Cloud Lab sudah jelas dan tak terelakkan. Dalam banyak hal, ECL merevolusi laboratorium tradisional secara analog dengan cara AWS merevolusi komputasi. Kemudahan penggunaan, keandalan, dan skalabilitas yang melekat pada layanan AWS telah menjadi pelengkap alami bagi model laboratorium cloud kami sehingga kami dapat memberikan layanan yang luar biasa kepada pelanggan kami saat ini. Selain itu, Manifold akan menjadi katalisator utama untuk pertumbuhan pada masa mendatang, memungkinkan kami untuk memenuhi permintaan komputasi yang terus meningkat dari para pelanggan yang melakukan penelitian ilmiah yang inovatif, dan untuk mendukung operasi kami seiring dengan bertambahnya ukuran dan jumlah fasilitas ECL.