University of Oxford Memperkenalkan Prototipe ML Pengenalan Gambar Terdepan di Sektor untuk Meningkatkan Digitalisasi dalam Numismatik

University of Oxford menjadi rumah bagi 21 juta objek dalam koleksi Gardens, Libraries & Museums (GLAM) miliknya—artefak dan spesimen yang menjadi bagian dari koleksi terpenting di dunia. Salah satu aspek dalam misi GLAM adalah untuk menyimpan aset-aset ini dan menjadikannya lebih mudah diakses oleh dunia untuk pendidikan dan penelitian. Namun, organisasi ini hanya memiliki cukup ruang untuk memamerkan sekitar 10 persen dari koleksi mereka pada saat yang bersamaan, dan ada banyak kebuntuan dalam artefak yang masih menunggu untuk dimasukkan ke dalam katalog. Untuk mengatasi hambatan tersebut, GLAM menggunakan Amazon Web Services (AWS) untuk membangun sistem pengenalan gambar yang disempurnakan, yang akan membantu mempercepat proses penataan katalog artefak.

Tim IT Gardens and Museums menggunakan Amazon SageMaker, layanan terkelola penuh yang memberi developer dan ilmuwan data kemampuan untuk membangun, melatih, dan melakukan deploy model machine learning (ML) dengan cepat. Didukung oleh instans Amazon Elastic Compute Cloud (Amazon EC2), melatih dan melakukan deployment model dilakukan dengan biaya rendah untuk secara otomatis menata koleksi koin yang luas dari Ashmolean Museum—yang merupakan museum publik pertama di Inggris dan museum universitas pertama di dunia. Di AWS, sistem pengenalan gambar akan mengidentifikasi dan menata katalog koin dalam waktu separuh dari yang dibutuhkan oleh sukarelawan manusia untuk menyelesaikan tugas yang sama.

GLAM terdiri dari empat museum— Ashmolean Museum of Art and Archaeology, Oxford University Museum of Natural History, Pitt Rivers Museum, and the History of Science Museum—serta Bodleian Libraries and the Oxford Botanic Garden & Harcourt Arboretum. Pada 2019, 900.000 pengunjung mendatangi koleksi digital GLAM. 21 juta objek yang ada di sana meliputi spesimen dan tanaman hidup, artefak bersejarah, dan bahkan gambar objek yang rusak, hilang, atau dikembalikan ke kolektor. “Selama bertahun-tahun, museum tidak terlalu aktif berinvestasi dan mengelola infrastruktur teknologi informasi yang mendukung semua layanan digital kami,” ujar Anjanesh Babu, arsitek sistem dan manajer jaringan (systems architect and network manager) di Gardens and Museums IT. “Setelah bertahun-tahun tidak berinvestasi dalam memperbarui infrastruktur yang sudah usang, University of Oxford memulai fokus strategis dalam transformasi digital melalui program GLAM Digital.” Sebagai bagian dari program ini, proyek Peningkatan Estate Digital menjadi bagian mendasar untuk menghadirkan peningkatan di bagian akar dan cabang infrastruktur untuk membuatnya dapat memenuhi aspirasi digital yang ditetapkan dalam tujuan. Pada 2017, proyek ini mengunggah 60 TB catatan digital ke Amazon Simple Storage Service (Amazon S3), sebuah layanan penyimpanan objek yang menawarkan skalabilitas, ketersediaan data, keamanan, dan performa terdepan di industri.

Untuk mengoptimalkan akses ke koleksi untuk pengajaran dan penelitian digital, GLAM mencari sebuah solusi ML yang akan mengurangi waktu yang dibutuhkan oleh departemen penelitian untuk mengidentifikasi dan memasukkan sebuah objek ke dalam katalog. Untuk ini, Anjanesh harus mengidentifikasi koleksi dengan katalog yang rapi, yang sesuai untuk menjadi kandidat prototipe. Jerome Mairat, kurator Heberden Coin Room di Ashmolean Museum, memiliki pengalaman pernah mengembangkan koleksi digital dari nol dan menawarkan diri untuk mendukung eksplorasi ini. Solusi ini akan bekerja untuk kali pertama dengan Roman Provincial Coinage online, sebuah proyek penelitian terkemuka di dunia dalam bidang numismatik. “Saya ingin mendapat contoh praktis mengenai apa yang dapat kami lakukan untuk mendemonstrasikan kepada pemangku kepentingan,” urai Anjanesh. “Koin menjadi pembawa pesan yang pas dan memiliki kekuatan interaksi yang besar, jadi itu membawa kami ke perjalanan untuk melibatkan tim ilmu data di AWS.” Langkah pertama dalam machine learning adalah memutuskan apa yang ingin Anda prediksi—dalam kasus ini, Anjanesh ingin memprediksi hasil sederhana: kepala atau ekor—yaitu, muka atau belakang. Dengan set data pelatihan yang diketahui, dapatkah solusi ML memprediksi sisi koin yang benar dengan akurasi yang tinggi? Ini adalah perpindahan yang dunia ML yang sangat diperlukan. Hasilnya melampaui “kepala atau ekor” yang sederhana, hingga klasifikasi data yang diperkaya.

GLAM menggunakan AWS untuk membangun dan melakukan deploy 11 model ML di Amazon SageMaker dalam waktu sekitar 10 minggu. Dalam periode tersebut, penelitian dan eksperimentasi memakan waktu sekitar satu bulan. “Prototipe berjalan cepat dan di luar ekspektasi saya,” ujar Anjanesh. Menggunakan set data awal berisi 100.000 gambar, GLAM pada awalnya menggunakan Amazon SageMaker Notebook untuk membangun, melatih, dan bereksperimen dengan model. Selanjutnya, GLAM beralih ke tugas pelatihan Amazon SageMaker karena banyak tugas pelatihan dapat diluncurkan secara simultan di Instans Amazon EC2 P3 (didukung oleh GPU NVIDIA V100 Tensor Core GPU) serta Instans Spot Amazon EC2. Amazon SageMaker mengelola tugas pelatihan agar berjalan saat kapasitas komputasi tersedia. Dengan menggunakan harga Instans Spot, GLAM dapat melatih model dengan biaya 10 persen dari harga Instans Sesuai Permintaan Amazon EC2 dan dalam waktu 50 persen lebih cepat. Karena Amazon SageMaker tidak bergantung pada kerangka kerja, GLAM mampu melatih model di PyTorch dan mengimplementasikan algoritme dan skripnya sendiri.

Sistem pengenalan wajah yang dihasilkan melibatkan serangkaian model. Pertama, beberapa model ML melakukan pemrosesan gambar di fase awal agar model pengenalan gambar dapat memberikan hasil terbaik. Sebagai contoh, untuk mendigitalisasi koin, sukarelawan—biasanya mahasiswa dari universitas—memotret kedua sisi kemudian memasukkannya ke dalam katalog. Jika koin diimbangi bahkan 20 derajat, model ML juga tidak dapat memprosesnya, jadi jaringan neural konvolusional digunakan untuk memutar setiap gambar 90 derajat—sebuah proses yang menurut Jerome sendiri akan menghemat waktu kerha Ashmolean Museum hingga 3 tahun. Model lainnya menghapus latar belakang dari gambar koin, sedangkan model lainnya lagi menggunakan adversarial network yang canggih untuk menghilangkan keburaman dan noise, serta menaikkan skala gambar agar menjadi gambar berkualitas tinggi. Proses ini begitu efektif hingga gambar dari ponsel sekali pun dapat digunakan.

Setelah gambar siap, lebih banyak model ML mengekstraksi fitur koin—seperti apakah koin memiliki nilai nominal, terbuat dari logam, atau menggambarkan seseorang—dan menggunakan informasi ini untuk menemukan koin dengan fitur serupa dalam indeks GLAM. Sebuah model pengubah kemudian menghasilkan keterangan atau metadata gambar, yang ditandai untuk setiap gambar. Deployment untuk semua model dilakukan di Instand Amazon EC2 G4 (didukung oleh GPU NVIDIA T4 Tensor Core), yang memangkas waktu inferensi dari hitungan menit menjadi detik.

Sistem pengenalan gambar diharapkan dapat menghemat waktu mengerjakan koleksi 300.000 koin hingga 3 tahun. “Mengganti lini produksi kami dengan model ML akan meningkatkan langkah kurasi ini,” ucap Anjanesh. Jerome menambahkan, “Kini dapat menfokuskan sukarelawan dalam langkah lain yang perlu menjadi prioritas. Proses ML meningkatkan alur kerja dan produktivitas, serta memberi nilai tambah bagi publik.” Model ML diharapkan akan membuka jalan dalam menata katalog set data gambar GLAM yang besar di masa mendatang.

Menganalisis koin, yang sebelumnya harus dikerjakan oleh sukarelawan dalam waktu antara 10 menit hingga beberapa jam, diharapkan akan memakan waktu beberapa menit saja setelah sistem pengenalan gambar diterapkan. “Jika kami memiliki model ML untuk set data, dan model ini bertanggung jawab atas validasi dan penyempurnaan gambar, kami tidak hanya akan menghemat waktu staf, tetapi juga akan dapat mengedukasi sukarelawan dan mungkin meningkatkan keterampilan mereka untuk bekerja dengan model tersebut. Pengetahuan yang bisa didapat siswa dari model ini adalah manfaat lain yang dapat kami tambahkan ke seluruh proses,” jelas Jerome.

Sistem pengenalan gambar juga dapat digunakan untuk meningkatkan interaksi visual dengan pelanggan. Sebagai contoh, Ashmolean Museum dulu menyelenggarakan sesi identifikasi objek, yang memberi orang-orang kesempatan untuk membawa objek dan meminta saran kurasi untuk mengidentifikasi objek tersebut dan mempelajari kisahnya. Kini, melalui pengenalan gambar yang didukung oleh AWS, seseorang dapat memotret sebuah objek dan mengunggah gambar tersebut dari rumah untuk mempelajari detail mengenai objek tersebut, memberi kemungkinan identifikasi objek virtual.

GLAM berencana untuk menerapkan sistem pengenalan gambarnya ke objek-objek selain koin, termasuk item yang lebih kompleks, seperti tanaman, batu permata, kupu-kupu, dan koleksi lainnya. GLAM juga ingin berbagi versi sumber terbuka sistemnya dengan universitas dan lembaga penelitian lainnya di GitHub untuk mendukung berbagi set data sebagai bagian dari panduan (roadmap) strategis yang lebih besar.

Menatap ke depan, Anjanesh membayangkan cara lain ML dapat meningkatkan aksesibilitas ke koleksi GLAM dan menyederhanakan proses internal. Saat ini, pengunjung situ web tidak dapat menggunakan satu kotak pencarian untuk mencari objek spesifik di seluruh koleksi GLAM. Pengunjung harus mengunjungi situs web terpisah untuk setiap museum atau perpustakaan. Ada aspirasi untuk menghadirkan fungsi pencarian lintas koleksi untuk semua GLAM. Pada akhirnya, Anjanesh membayangkan sebuah fungsi pencarian yang jauh lebih hebat, yang akan menyisir koleksi dari banyak universitas yang berpartisipasi dan partner warisan di seluruh dunia. Selain itu, dalam kacamata yang lebih terlokalisasi, solusi ML dapat digunakan untuk memantau dan menyesuaikan temperatur galeri agar dapat menyimpan objek dengan optimal—yang akan membantu pekerjaan tim pemeliharaan koleksi.

Dengan membangun sistem pengenalan gambar di AWS, GLAM telah sangat meningkatkan akses ke koleksinya untuk pelajar, peneliti, dan pengunjung publik sekaligus mengurangi beban kerja staf dan sukarelawannya dengan sangat signifikan. “Saya mengapresiasi kerja keras AWS dalam membangun solusi ini,” ujar Anjanesh. “Saya kira proyek ini akan menjadi proyek yang kompleks dan memakan waktu, tetapi menggunakan AWS memberi kemudahan melalui alat siap pakai yang umum digunakan, yang portabel dan dapat dikirim dengan cepat.”