L'Università di Oxford presenta un prototipo di ML di riconoscimento delle immagini leader del settore per aumentare la digitalizzazione nella numismatica

L'Università di Oxford ospita 21 milioni di oggetti nelle collezioni del suo Gardens, Libraries & Museums (GLAM), artefatti e campioni fra i più significativi nel mondo. Uno degli aspetti della missione del GLAM è preservare queste risorse e renderle accessibili al mondo per scopi di ricerca e di formazione. Tuttavia, l'organizzazione ha spazio sufficiente per esporre solo il 10% delle sue proprietà alla volta, e vi è un enorme numero di artefatti ancora da catalogare. Per risolvere questo problema, GLAM ha usato Amazon Web Services (AWS) per creare un sistema di riconoscimento delle immagini potenziato che possa aiutare a velocizzare il processo di catalogazione degli artefatti.

Il team IT di Gardens and Museums ha usato Amazon SageMaker, un servizio completamente gestito che offre a sviluppatori e data scientist la capacità di costruire, addestrare e implementare in modo rapido modelli di machine learning (ML). Alimentati dalle istanze di Amazon Elastic Compute Cloud (Amazon EC2), i modelli sono stati addestrati ed implementati a basso costo per catalogare automaticamente l'estesa collezione di monete dell'Ashmolean Museum, primo museo pubblico del Regno Unito e primo museo universitario al mondo. Su AWS, il sistema di riconoscimento delle immagini identifica e cataloga le monete in una frazione del tempo che i volontari impiegherebbero per completare lo stesso processo.

Il GLAM comprende quattro musei, l'Ashmolean Museum of Art and Archaeology, l'Oxford University Museum of Natural History, il Pitt Rivers Museum e l'History of Science Museum, oltre alle Bodleian Libraries ed all'Oxford Botanic Garden & Harcourt Arboretum. Nel 2019 al GLAM 900.000 persone hanno visitato le collezioni digitali. I suoi 21 milioni di oggetti includono campioni e piante, artefatti storici ed anche immagini di oggetti che sono stati danneggiati, persi, o restituiti ai collezionisti. "Per molti anni i musei non hanno pensato a gestire ed investire nell'infrastruttura IT che sostiene tutti i nostri servizi digitali," afferma Anjanesh Babu, systems architect e network manager di Gardens and Museums IT. "Dopo anni di investimenti insufficienti in una infrastruttura obsoleta, l'Università di Oxford ha deciso di orientarsi verso una trasformazione digitale attraverso il programma GLAM Digital." In quanto parte di questo programma, il progetto Digital Estate Improvement era fondamentale per portare a miglioramenti radicali all'infrastruttura e per renderla adatta a soddisfare le aspirazioni digitali esposte negli obiettivi. Nel 2017 il progetto ha caricato 60 TB di registri digitali su Amazon Simple Storage Service (Amazon S3), un servizio di archiviazione di oggetti che offre scalabilità, disponibilità dei dati, sicurezza e prestazioni all'avanguardia nel settore.

Per ottimizzare l'accesso alle collezioni per l'insegnamento digitale e la ricerca, GLAM aveva deciso di cercare una soluzione ML capace di ridurre il tempo di cui un dipartimento di ricerca aveva bisogno per identificare e catalogare un oggetto. Per questo, Anjanesh doveva identificare una collezione ben catalogata ed adatta che potesse diventare il candidato prototipo. Jerome Mairat, curatore dell'Herbeden Coin Romm nell'Ashmolean Museum, aveva già esperienza nello sviluppo delle collezioni digitali dalle fondamenta e si era offerto di supportare questa esplorazione. La soluzione aveva funzionato in primo luogo con il Roman Provincial Coinage online, progetto di ricerca nel campo della numismatica famoso in tutto il mondo. "Volevo avere un esempio pratico di quello che potevamo fare da mostrare alle parti interessate," afferma Anjanesh. "Le monete sono un vettore naturale di messaggi e possiedono un enorme potere di coinvolgimento, perciò questo ci ha spinto a coinvolgere il team di data science di AWS." Il primo passo nel machine learning consiste nel decidere cosa vuoi prevedereed in questo caso Anjanesh aveva intenzione di prevedere un semplice risultato: testa o croce, cioè i due lati della moneta. Dopo averla addestrata con uno specifico set di dati, una soluzione ML poteva prevedere il giusto lato della moneta con un elevato livello di accuratezza? Questa era la transizione tanto necessaria nel mondo dell'ML. Il risultato andò oltre il semplice "testa o croce" ad una classificazione di dati più ricca.

GLAM ha usato AWS per costruire ed implementare 11 modelli ML su Amazon SageMaker in circa 10 settimane. Di quelle 10 settimane, per la ricerca e la sperimentazione ci è voluto circa un mese. "Il prototyping era stato rapido ed era andato oltre le mie aspettative," afferma Anjanesh. Utilizzando un set di dati iniziale di 100.000 immagini, GLAM ha usato per la prima volta Amazon SageMaker Notebooks per costruire, addestrare e sperimentare con i modelli. In un secondo momento, è passato a processi di formazione di Amazon SageMaker poiché molti processi di formazione potevano essere avviati contemporaneamente su istanze P3 Amazon EC2 (alimentate da GPU NVIDIA V100 Tensore Core) ed istanze Spot Amazon EC2. Amazon SageMaker gestiva i processi di formazione in modo che venissero eseguiti quando la capacità di calcolo diventava disponibile. Con i prezzi delle istanze Spot, GLAM ha potuto addestrare i modelli al 10% del costo delle istanze on-demand di Amazon EC2 ed impiegando il 50% del tempo in meno. E poiché Amazon SageMaker è un framework agnostico, GLAM ha potuto formare i modelli su PyTorch e implementare i propri algoritmi e script.

Il sistema di riconoscimento delle immagini ottenuto comprende una serie di modelli. In primo luogo, molti modelli ML operano una pre-elaborazione delle immagini in modo che i modelli di riconoscimento delle immagini possano produrre i migliori risultati possibili. Per esempio, per digitalizzare una moneta, i volontari (solitamente studenti universitari) fotografano entrambi i lati e poi la catalogano. Se la moneta è sfalsata di anche 20 gradi, i modelli ML non possono elaborarla allo stesso modo, perciò le reti neurali convolutional sono solite ruotare ogni immagine fino a 90 gradi, un processo che da solo, afferma Jerome, risparmia all'Ashmolean Museum fino a 3 anni di lavoro. Un altro modelli rimuove il background dall'immagine della moneta, ed un altro ancora utilizza le innovative reti adversarial per schiarire, pulire e migliorare una immagine per renderla di qualità elevata. Il processo è così efficace che anche le immagini dei cellulari sono utilizzabili.

Quando l'immagine è pronta, altri modelli ML estraggono le caratteristiche della moneta (carpendo informazioni per capire se ha un costo, se è fatta di metallo o se raffigura una persona) ed utilizzano queste informazioni per trovare monete con caratteristiche simili nell'indice di GLAM. Un modello trasformatore poi genera didascalie per le immagini o metadati, che sono taggati ad ogni immagine. Tutti i modelli sono implementati su Istante G4 di Amazon EC2 (alimentate da GPU NBIDIA T4 Tensor Core), che riducono i tempo di deduzione da minuti a secondi.

Si suppone che il sistema di riconoscimento delle immagini risparmi fino a 3 anni di lavoro su una collezione di 300.000 monete. "Sta rimpiazzando la nostra linea di produzione con un modello ML che migliorerà le fasi curatoriali," afferma Anjanesh. Jerome aggiunge, "Ora possiamo far concentrare i nostri volontari su fasi che aggiungono valore. Il processo di ML migliora il flusso di lavoro e la produttività ed aggiunge valore per il pubblico." Si prevede che i modelli ML apriranno la strada per la categorizzazione dei set di dati dei volumi di immagini nel futuro.

Analizzare una moneta, azione che prima faceva impiegare ai volontari tempi che andavano da 10 minuti ad ore intere, si prevede che faccia impiegare solo pochi minuti una volta attivo il sistema di rilevamento delle immagini. "Se abbiamo modelli ML da usare con i set di dati e se sono responsabili per la convalida ed i miglioramenti delle immagini, questo non solo risparmierebbe il tempo dello staff ma ci permetterebbe anche di formare i volontari e forse istruirli per farli lavorare con tali modelli. La conoscenza che gli studenti ottengono è un altro valore che possiamo aggiungere all'intero processo," afferma Jerome.

Il sistema di riconoscimento delle immagini potrebbe anche essere utilizzato per stimolare il coinvolgimento visivo con i visitatori. Per esempio, l'Ashmolean Museum era solito tenere sessioni di identificazione degli oggetti, durante le quali le persone potevano portare gli oggetti e chiedere consiglio curatoriale per identificare questi oggetti e scoprire le loro storie. Adesso, attraverso il riconoscimento delle immagini alimentato da AWS, una persona può fotografare un oggetto e caricare quella immagine da casa per scoprirne i dettagli, portando a nuove opportunità di identificazione di oggetti virtuali.

GLAM ha intenzione di applicare il suo sistema di riconoscimento delle immagini ad altri oggetti oltre le monete, compresi beni come piante, pietre preziose, farfalle ed altre collezioni. Vuole anche condividere una versione open-source del sistema con altre università ed istituti di ricerca su GitHub per incoraggiare la condivisione di set di dati come parte un più grande percorso strategico.

Guardando verso il futuro, Anjanesh immagina altri modi in cui l'ML potrebbe migliorare l'accessibilità alle collezioni di GLAM ed ottimizzare i processi interni. Ora come ora, i visitatori del sito web non possono usare un solo riquadro di ricerca per trovare uno specifico oggetti nelle collezioni di GLAM; devono visitare un sito web diverso per ogni museo o biblioteca. Vi è l'obiettivo di fornire una funzione di ricerca che coinvolga tutte le collezioni di GLAM. Infine, Anjanesh immagina una funzione di ricerca ancora più grande che setacci le collezioni di una grande numero di università partecipanti e di partner heritage nel mondo. Inoltre, su un fronte più localizzato, le soluzioni ML potrebbero essere usate per monitorare e regolare le temperature delle gallerie per preservare nel miglior modo possibile gli oggetti, cosa che aumenterebbe il lavoro dei team di cura delle collezioni.

Costruendo un sistema di riconoscimento delle immagini su AWS, GLAM ha ampiamente aumentato l'accesso alle sue collezioni a studenti, ricercatori e visitatori pubblici risparmiando allo stesso tempo al proprio staff ed ai volontari un grande quantitativo di lavoro. "Apprezzo l'impegno che AWS ha profuso in questo progetto," afferma Anjanesh. "Credevo che questo progetto sarebbe stato lungo e complesso, ma l'utilizzo di AWS l'ha reso facile attraverso strumenti standard che sono sia trasferibili che facili da distribuire."