L'Université d'Oxford présente un prototype ML de reconnaissance d'images à la pointe du secteur pour améliorer la numérisation en numismatique.

L'Université d'Oxford abrite 21 millions d'objets dans les collections de sa division Gardens, Libraries & Museums (GLAM), des artefacts et des spécimens qui comptent parmi les plus importants au monde. L'un des aspects de la mission de la division GLAM consiste à préserver ces ressources et à les rendre accessibles au monde entier à des fins d'éducation et de recherche. Cependant, l'organisation ne dispose que d'un espace suffisant pour exposer environ 10 % de ses collections à la fois, et il y a un énorme arriéré d'artefacts qui attendent toujours d'être catalogués. Ainsi, pour surmonter cet obstacle, la division GLAM a fait appel à Amazon Web Services (AWS) pour créer un système de reconnaissance d'images amélioré qui permettrait d'accélérer le processus de catalogage des objets.

L'équipe informatique de la division Gardens and Museums a eu recours à Amazon SageMaker, un service entièrement géré permettant aux développeurs et aux scientifiques des données de créer, former et déployer rapidement et facilement des modèles de machine learning (ML). Optimisés par des instances Amazon Elastic Compute Cloud (Amazon EC2), les modèles ont été formés et déployés à faible coût pour cataloguer automatiquement la vaste collection de pièces de monnaie de l'Ashmolean Museum, le premier musée public du Royaume-Uni et le premier musée universitaire du monde. Sur AWS, le système de reconnaissance d'images identifie et catalogue les pièces de monnaie en une fraction du temps qu'il faudrait à des volontaires humains pour accomplir la même tâche.

La division GLAM comprend quatre musées : l'Ashmolean Museum of Art and Archaeology, l'Oxford University Museum of Natural History, le Pitt Rivers Museum et l'History of Science Museum, ainsi que les Bodleian Libraries et l'Oxford Botanic Garden & Harcourt Arboretum. En 2019, la division GLAM a accueilli 900 000 visiteurs au sein de ses collections numériques. Ses 21 millions d'objets comprennent des spécimens vivants et des plantes, des artefacts historiques et même des images d'objets endommagés, perdus ou restitués aux collectionneurs. « Pendant de nombreuses années, les musées n'ont pas été très actifs en matière d'investissement et de gestion de l'infrastructure informatique qui sous-tend tous nos services numériques », explique Anjanesh Babu, architecte de systèmes et gestionnaire de réseau pour l'informatique des jardins et des musées. « Après des années de sous-investissement dans des infrastructures obsolètes, l'Université d'Oxford a mis en place un axe stratégique de transformation numérique à travers le programme GLAM Digital. » Dans le cadre de ce programme, le projet d'amélioration du patrimoine numérique (Digital Estate Improvement) a constitué la pièce maîtresse pour apporter des améliorations fondamentales à l'infrastructure afin de la rendre apte à répondre aux aspirations numériques énoncées dans les objectifs. En 2017, le projet a permis de télécharger 60 To d'enregistrements numériques vers Amazon Simple Storage Service (Amazon S3), un service de stockage d'objets offrant une évolutivité, une disponibilité des données, une sécurité et des performances de pointe.

Afin d'optimiser l'accès aux collections pour l'enseignement et la recherche numériques, la division GLAM a jeté son dévolu sur une solution de ML qui réduirait le temps qu'il faut à un département de recherche pour identifier et cataloguer un objet. Pour cela, Anjanesh a dû identifier une collection appropriée et bien cataloguée qui deviendrait candidate au prototypage. Jerome Mairat, conservateur de la Heberden Coin Room (Salle des pièces de monnaie Heberden) de l'Ashmolean Museum, avait une expérience préalable du développement de collections numériques depuis le début et a proposé de soutenir cette exploration. La solution fonctionnerait d'abord avec le Roman Provincial Coinage online, un projet de recherche de renommée mondiale en numismatique. « Je souhaitais avoir un exemple pratique de ce que nous pouvions faire pour le présenter aux parties prenantes », a expliqué Anjanesh. « Les pièces de monnaie sont un support naturel de ce message et ont un énorme pouvoir d'engagement, ce qui nous a amené à engager l'équipe de science des données chez AWS. » La première étape du machine learning consiste à décider ce que l'on veut prédire. Dans ce cas, Anjanesh voulait prédire un résultat simple : pile ou face, c'est-à-dire l'avers ou le revers. Compte tenu d'un ensemble de données d'entraînement connues, une solution de ML serait-elle capable de prédire le bon côté d'une pièce de monnaie avec un haut degré de précision ? C'était la transition nécessaire vers l'univers du ML. Le résultat est allé bien au-delà d'un simple « pile ou face » pour aboutir à une classification des données très enrichie.

La division GLAM a utilisé AWS pour créer et déployer 11 modèles de ML sur Amazon SageMaker en 10 semaines environ. Dans ce laps de temps, la recherche et l'expérimentation ont pris environ un mois. « Le prototypage a été rapide et a dépassé mes attentes », a déclaré Anjanesh. À partir d'un ensemble de données initial de 100 000 images, la division GLAM a d'abord utilisé Amazon SageMaker Notebooks pour créer, former et expérimenter des modèles. Par la suite, elle est passée aux tâches de formation Amazon SageMaker, car de nombreuses tâches de formation pouvaient être lancés simultanément sur des instances Amazon EC2 P3 (alimentées par des GPU NVIDIA V100 Tensor Core) comme des instances Spot Amazon EC2. Amazon SageMaker a géré les tâches de formation de sorte qu'elles s'exécutent lorsque la capacité de calcul devient disponible. En utilisant la tarification d'instance Spot, la division GLAM a pu former les modèles à 10 % du coût de la tarification d'instance à la demande Amazon EC2 et avec 50 % de temps en moins. Et comme Amazon SageMaker est agnostique en matière de cadre, la division GLAM a pu entraîner les modèles sur PyTorch et mettre en œuvre ses propres algorithmes et scripts.

Le système de reconnaissance d'images obtenu implique une série de modèles. Tout d'abord, plusieurs modèles de ML effectuent un prétraitement des images afin que les modèles de reconnaissance d'images puissent produire les meilleurs résultats. Par exemple, pour numériser une pièce de monnaie, des volontaires (généralement des étudiants universitaires) photographient chaque face pour ensuite la cataloguer. Si la pièce est décalée ne serait-ce que de 20 degrés, les modèles de ML ne peuvent pas la traiter aussi bien. Des réseaux neuronaux convolutifs sont donc utilisés pour tourner chaque image à 90 degrés - un processus qui, selon Jerome, permettrait à l'Ashmolean Museum d'économiser jusqu'à trois ans de travail. Un autre modèle supprime l'arrière-plan de l'image de la pièce de monnaie, et un autre encore utilise des réseaux contradictoires de pointe pour déblayer, éliminer le bruit et mettre à l'échelle une image afin qu'elle soit de haute qualité. Ce procédé est tellement efficace que même les photos prises avec un téléphone sont utilisables.

Une fois l'image prête, d'autres modèles de ML extraient les caractéristiques de la pièce (par exemple, si elle a un coût, si elle est en métal ou si elle représente une personne) et utilisent ces informations pour trouver des pièces ayant des caractéristiques similaires dans l'index de la division GLAM. Un modèle de transformation génère ensuite des légendes d'images ou des métadonnées, qui sont étiquetées à chaque image. Tous les modèles sont déployés sur des instances Amazon EC2 G4 (à technologie de GPU NVIDIA T4 Tensor Core), ce qui réduit ainsi le temps d'inférence de quelques minutes à quelques secondes.

Le système de reconnaissance d'images devrait permettre d'économiser jusqu'à trois ans de travail sur une collection de 300 000 pièces. « Il s'agit de remplacer notre chaîne de production par un modèle de ML qui améliorera les étapes de conservation », explique Anjanesh. Jérôme ajoute : « Nous pouvons maintenant concentrer nos bénévoles sur d'autres étapes qui apportent une véritable valeur ajoutée. Le processus de ML améliore le flux et la productivité, tout en apportant une valeur ajoutée au public. » On s'attend à ce qu'à l'avenir, les modèles de ML ouvrent la voie à la catégorisation des jeux de données d'images en vrac de la division GLAM.

L'analyse d'une pièce de monnaie, qui prenait auparavant entre 10 minutes et plusieurs heures aux volontaires, ne devrait prendre que quelques minutes une fois le système de reconnaissance d'image mis en place. « Si nous disposons de modèles ML par rapport à des jeux de données, et s'ils sont responsables de la validation et de l'amélioration des images, cela permettrait non seulement au personnel de gagner du temps, mais aussi d'éduquer les volontaires et peut-être de les former à travailler avec de tels modèles. Les connaissances que les étudiants peuvent en tirer sont une autre valeur que nous pouvons ajouter à l'ensemble du processus », explique Jerome.

Le système de reconnaissance d'images peut également servir à stimuler l'engagement visuel des visiteurs. Par exemple, l'Ashmolean Museum avait l'habitude d'organiser des séances d'identification d'objets, au cours desquelles les personnes pouvaient apporter des objets et demander conseil au conservateur pour les identifier et apprendre leur histoire. Désormais, grâce à la reconnaissance d'images à technologie AWS, une personne peut photographier un objet et télécharger cette image depuis chez elle pour en connaître les détails, ce qui ouvre la voie à l'identification virtuelle des objets.

La division GLAM prévoit d'appliquer son système de reconnaissance d'images à des objets autres que les pièces de monnaie, notamment à des éléments plus complexes comme les plantes, les pierres précieuses, les papillons et d'autres collections. Elle souhaite également partager une version open source du système avec d'autres universités et institutions de recherche sur GitHub, afin de favoriser le partage des jeux de données dans le cadre de la feuille de route stratégique élargie.

Pour l'avenir, Anjanesh imagine d'autres moyens par lesquels le ML pourrait améliorer l'accessibilité aux collections de la division GLAM et rationaliser les processus internes. Actuellement, les visiteurs du site web ne peuvent pas utiliser un seul champ de recherche pour rechercher un objet spécifique dans les collections de la division GLAM. En effet, ils doivent visiter un site web distinct pour chaque musée ou bibliothèque. Il est prévu d'offrir une fonction de recherche de collections croisées pour l'ensemble de la division GLAM. À terme, Anjanesh envisage une fonction de recherche encore plus importante qui passerait au peigne fin les collections d'une multitude d'universités participantes et de partenaires du patrimoine aux quatre coins du monde. En outre, sur un plan plus local, les solutions de ML pourraient servir à surveiller et à ajuster les températures des galeries afin de préserver au mieux les objets, ce qui renforcerait le travail des équipes chargées de l'entretien des collections.

En créant un système de reconnaissance d'images sur AWS, la division GLAM a considérablement augmenté l'accès à ses collections pour les étudiants, les chercheurs et les visiteurs publics, tout en épargnant à son personnel et à ses bénévoles une quantité de travail considérable. « J'apprécie les efforts déployés par AWS », a déclaré Anjanesh. « Je pensais que ce projet serait complexe et prendrait du temps, mais l'utilisation d'AWS l'a simplifié grâce à des outils communs prêts à l'emploi, portables et rapides à livrer. »