옥스포드 대학교는 고전학에서 디지털화를 강화하기 위해 업계 최고의 이미지 인식 기계 학습 프로토타입 도입

옥스포드 대학교는 세계에서 가장 중요한 유물 및 표본 2,100만 점의 컬렉션을 대학교 부속 Gardens, Libraries & Museums(GLAM)에 소장하고 있습니다. GLAM의 사명 중 하나는 이런 자산을 보존하여 교육 및 연구 분야에서 쉽게 접근할 수 있도록 하는 것입니다. 그러나 GLAM에는 한 번에 소장품의 약 10퍼센트만 전시할 수 있는 공간 밖에 없는데다가 카탈로그화해야 할 유물이 어마어마하게 쌓여 있습니다. 이런 어려움을 해결하기 위해 GLAM은 Amazon Web Services(AWS)를 사용하여 향상된 이미지 인식 시스템을 구축함으로써 유물의 카탈로그화 과정에 박차를 가할 수 있게 됐습니다.

Gardens and Museums의 IT 팀에서는 개발자 및 데이터 사이언티스트가 기계 학습 모델을 빠르게 구축, 훈련 및 배포할 수 있도록 하는 완전관리형 서비스인 Amazon SageMaker를 사용하였습니다. Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스에 의해 작동되는 이 모델은 저렴한 비용으로 훈련 및 배포되어 영국 최초의 공공 박물관이자 세계 최초의 대학 박물관인 애슈몰린 박물관(Ashmolean Museum)의 방대한 동전 컬렉션을 자동으로 카탈로그화했습니다. AWS에서 이 이미지 인식 시스템은 인간 자원봉사자가 동일한 작업을 처리하는 데 걸리는 시간의 아주 조금만 들여도 코인을 식별하고 카탈로그화할 수 있습니다.

GLAM은 애슈몰린 미술 및 고고학 박물관(Ashmolean Museum of Art and Archaeology), 옥스포드 대학교 자연사 박물관(Oxford University Museum of Natural History), 피트리버스 박물관(Pitt Rivers Museum), 과학사 박물관(History of Science Museum) 등 4개 박물관과 함께 보들리안 도서관(Bodleian Libraries)과 옥스포드 대학교 식물원 및 하코트 수목원(Oxford Botanic Garden & Harcourt Arboretum)으로 이뤄져 있습니다. 2019년에 GLAM의 디지털 컬렉션에는 90만 명이 방문했습니다. GLAM의 2,100만 점 소장품에는 살아 있는 표본 및 식물, 역사적 유물, 심지어 손상 및 분실되거나 수집가에게 반환된 소장품의 이미지도 들어 있습니다. Gardens and Museums IT 팀의 시스템 아키텍트 겸 네트워크 관리자인 안자네쉬 바부는 “오랫동안 박물관에서는 모든 디지털 서비스를 뒷받침해주는 정보 기술 인프라에 대한 투자 및 관리에 그렇게 적극적이지 않았습니다”라고 말했습니다. 그는 “지난 시절 시대에 뒤떨어진 인프라에 투자도 저조했던 옥스포드 대학교가 GLAM 디지털 프로그램을 통해 전략적으로 디지털 전환에 중점을 두었습니다”라고 덧붙였습니다. 이 프로그램의 일부인 디지털 자산 개선(Digital Estate Improvement) 프로젝트는 프로그램의 목표에 설명된 디지털 열망을 충족시키기 위해 근본적으로 철저하게 인프라를 개선하려는 프로젝트입니다. 2017년에 이 프로젝트에서는 60TB의 디지털 레코드를 업계 최고의 확장성과 데이터 가용성 및 보안과 성능을 제공하는 객체 스토리지 서비스인 Amazon Simple Storage Service(Amazon S3)로 업그레이드했습니다.

디지털 교육 및 연구를 위한 컬렉션 접근을 최적화하기 위해 GLAM은 연구 부서에서 소장품을 식별하고 카탈로그화하는 데 필요한 시간을 줄여줄 수 있는 기계 학습 솔루션에 관심을 가졌습니다. 이를 위해 안자네쉬는 적절하게 잘 카탈로그화된 컬렉션을 찾아 프로토타이핑 후보로 삼았습니다. 애슈몰린 박물관의 허버딘 코인 룸의 큐레이터인 제롬 마이랏(Jerome Mairat)은 디지털 컬렉션을 처음부터 개발한 경험이 있어 이 탐사 프로젝트를 지원하기로 했습니다. 기계 학습 솔루션은 먼저 고전학의 세계적인 연구 프로젝트인 로마 속주 주역 주화 온라인(Roman Provincial Coinage online)과 협력하게 됩니다. 안자네쉬는 “이해 관계자에게 가능하면 실제적인 예를 보여주고 싶었습니다. “주화에는 당연히 이런 메시지가 담겨 있고 참여의 힘이 커서 우리를 AWS의 데이터 과학 팀에 참여하도록 이끌었습니다”라고 설명했습니다. 기계 학습의 첫 단계는 예측하려는 것을 결정하는 것 - 이 경우 안자네쉬는 머리 또는 꼬리, 즉 동전의 앞면 또는 뒷면 같이 단순한 결과를 예측하려 했습니다. 알려진 훈련 데이터 집합을 고려할 때 기계 학습 솔루션은 상당히 높은 수준의 정확도로 동전의 앞면, 뒷면을 정확하게 예측할 수 있나요? 이 때문에 기계 학습 세계로 자연스럽게 넘어갈 필요가 있었습니다. 결과적으로 “머리 또는 꼬리”라는 단순한 결과를 넘어 훨씬 강화된 데이터 분류로 나타났습니다.

GLAM은 AWS를 사용하여 약 10주만에 Amazon SageMaker에서 11개 기계 학습 모델을 구축 및 배포하였습니다. 이 기간 안에 약 한 달이 걸린 연구 및 실험도 있었습니다. 안자네쉬는 “프로토타이핑은 예상을 뛰어넘어 빠르게 진행되었습니다”라고 말했습니다. GLAM은 처음에 10만 개 이미지로 된 초기 데이터 집합을 통해 Amazon SageMaker 노트북을 사용해 모델을 구축, 훈련 및 실험하였습니다. 나중에 Amazon SageMaker 훈련 작업으로 전환했습니다. 대부분의 훈련 작업을 Amazon EC2 스팟 인스턴스인 Amazon EC2 P3 인스턴스(NVIDIA V100 Tensor Core GPU로 작동)에서 동시에 시작할 수 있었기 때문입니다. Amazon SageMaker는 컴퓨팅 용량을 사용할 수 있게 되면 실행되도록 훈련 작업을 관리했습니다. GLAM은 스팟 인스턴스 요금을 사용하여 Amazon EC2 온디맨드 인스턴스 요금의 10퍼센트로 모델을 훈련했으며 시간은 50퍼센트로 줄일 수 있었습니다. Amazon SageMaker는 프레임워크를 사용하지 않기 때문에 GLAM은 PyTorch에서 모델을 훈련시키고 자체 알고리즘 및 스크립트를 구현할 수 있었습니다.

결과적으로 이미지 인식 시스템에는 일련의 모델이 관여합니다. 먼저 여러 기계 학습 모델에서 이미지 프로세싱을 수행하므로 이미지 인식 모델은 최상의 결과를 내놓을 수 있습니다. 예를 들어 동전을 디지털화하려면 자원봉사자들(대부분 대학생)은 동전의 양면을 모두 사진 촬영한 다음 카탈로그화해야 합니다. 동전이 20도 정도 차이가 나는 경우 기계 학습 모델은 이를 처리할 수 없으므로 합성곱 신경망이 사용돼 각 이미지를 90도로 돌려놓습니다. 제롬(Jerome)은 이 과정 덕분에 애슈몰린 박물관의 작업 기간을 최대 3년까지 단축시킬 것이라고 말했습니다. 다른 모델은 동전 이미지의 배경을 제거하고 또 다른 모델은 최신 적대 신경망을 사용하여 이미지의 블러 및 노이즈를 제거하고 이미지를 확대하여 고품질로 만듭니다. 이런 과정은 매우 효과적이라 휴대폰으로 찍은 사진도 사용할 수 있습니다.

이미지가 준비되면 기계 학습 모델은 동전이 가치가 있고 금속으로 만들어졌으며 인물의 초상화가 담겨 있는 등 동전의 특징을 추출하고 추출된 정보를 사용하여 GLAM의 인덱스에서 비슷한 특징을 지닌 동전을 찾습니다. 트랜스포머 모델은 이미지 캡셔닝이나 메타데이터를 생성하고 각 이미지에 태그를 지정합니다. 모든 모델은 Amazon EC2 G4 인스턴스(NVIDIA T4 Tensor Core GPU로 작동)에 배포되어 분 단위에서 초 단위로 추론 시간을 줄입니다.

이미지 인식 시스템을 사용하면 30만 개 동전 컬렉션을 작업하는 데 최대 3년까지 작업 시간을 줄여줄 것으로 예상됩니다. 안자네쉬는 “큐레이션 단계를 개선해 줄 기계 학습 모델로 당사 생산 라인을 교체할 것”이라고 말했습니다. 제롬은 “이제 자원봉사자들을 부가가치가 있는 다른 단계에 집중하도록 할 수 있습니다. 기계 학습 과정을 통해 워크플로와 생산성이 향상되고 여러 사람들에게 도움이 될 수 있습니다”라고 덧붙였습니다. 앞으로 기계 학습 모델은 GLAM의 대량 이미지 데이터 집합의 범주화 방법을 제시할 것으로 예상됩니다.

이미지 인식 시스템이 일단 자리를 잡으면 전에는 자원봉사자가 작업하는 데 10분~몇 시간까지 걸렸던 동전 분석 작업이 수 분 밖에 걸리지 않을 것으로 예상됩니다. 제롬은 “데이터 집합에 대해 기계 학습 모델이 있고 이 기계 학습 모델이 검증 및 이미지 향상을 담당하고 있으면 직원의 시간이 절약될 뿐 아니라 이런 모델로 작업하도록 자원봉사자를 교육하고 그들의 능력도 향상시켜 줄 수 있습니다. 여기서 학생들이 얻을 수 있는 지식은 전체 과정에서 추가로 얻을 수 있는 또 다른 가치”라고 말했습니다.

또한 이미지 인식 시스템은 시각적 효과를 강화해 방문객 참여를 높이는 데 사용될 수 있습니다. 예를 들어 애슈몰린 박물관은 소장품 식별 모임을 열고는 했는데 이 기간 동안 사람들은 소장품을 가져와 큐레이터에게 조언을 구해 해당 소장품을 식별하고 그 배경 이야기를 들을 수 있었습니다. 이제 AWS 기반 이미지 인식을 통해 개인이 소장품을 사진 촬영하여 해당 이미지를 집에서 업로드하면 소장품의 세부 정보에 대해 알 수 있습니다. 이렇게 하면 시각적 객체 식별도 가능해집니다.

GLAM은 이미지 인식 시스템을 동전을 넘어 식물, 보석, 나비 및 기타 컬렉션 같은 더 복잡한 아이템 등의 객체에도 적용할 계획입니다. 또한 GitHub에서 오픈 소스 버전의 시스템을 다른 대학교 및 연구소와 공유하여 데이터 집합의 공유를 더 방대한 전략적 로드맵의 일부로 양성하고자 합니다.

앞으로 안자네쉬는 기계 학습이 GLAM 컬렉션에 대한 접근 가능성을 개선하고 내부 프로세스를 원활하게 할 수 있는 방법을 추가로 구상하고 있습니다. 현재 웹 사이트 방문객은 단일 검색 상자를 사용하여 GLAM 컬렉션에서 특정 소장품을 찾을 수 없고, 각 박물관이나 도서관의 웹 사이트를 별도로 방문해야 합니다. 교차 컬렉션 검색 기능을 GLAM의 모든 소장품에도 적용하기를 간절히 바라고 있습니다. 궁극적으로 안자네쉬는 전 세계에서 참여하는 많은 대학교 및 유산 보호 파트너들의 컬렉션까지 검색할 수 있는 더 방대한 검색 기능을 꿈꾸고 있습니다. 또한 지역 차원에서 기계 학습은 갤러리의 온도를 모니터링하고 조절하여 소장품을 최상의 상태로 보존하는 데 사용될 수 있습니다. 이렇게 하면 컬렉션 관리 팀의 업무를 크게 줄일 수 있습니다.

GLAM은 AWS에 이미지 인식 시스템을 구축하여 컬렉션에 대한 학생, 연구자, 일반 방문객의 접근 가능성을 크게 높이고 직원 및 자원봉사자의 업무량을 상당히 줄였습니다. 안자네쉬는 “이를 위해 AWS가 보여준 많은 노력에 감사를 표합니다. 이 프로젝트는 복잡하고 시간이 많이 소요되는 작업이라고 생각했는데 AWS를 통해 휴대가 가능하고 빠른 납품이 가능한 기성 도구를 사용하여 작업을 쉽게 할 수 있었습니다.