Die Universität Oxford stellt einen branchenführenden ML-Prototyp zur Bilderkennung vor, um die Digitalisierung in der Numismatik zu verbessern

Die University of Oxford beherbergt 21 Millionen Objekte in den Sammlungen ihrer Gardens, Libraries & Museums (GLAM) – Artefakte und Exemplare, die zu den bedeutendsten der Welt gehören. Ein Aspekt des GLAM-Auftrags besteht darin, diese Werte zu bewahren und sie der Welt für Bildung und Forschung zugänglich zu machen. Die Organisation verfügt jedoch nur über genügend Platz, um jeweils etwa 10 Prozent ihrer Bestände auszustellen, und es gibt einen enormen Rückstand an Artefakten, die noch katalogisiert werden müssen. Um dieses Hindernis zu überwinden, nutzte GLAM Amazon Web Services (AWS), um ein verbessertes Bilderkennungssystem zu entwickeln, das den Prozess der Katalogisierung von Artefakten beschleunigen sollte.

Das Team von Gardens and Museums IT nutzte Amazon SageMaker, einen vollständig verwalteten Service, der Entwicklern und Datenwissenschaftlern die Möglichkeit bietet, Modelle für Machine Learning (ML) schnell zu entwickeln, zu trainieren und bereitzustellen. Angetrieben von Amazon-Elastic-Compute-Cloud-Instances (Amazon EC2) wurden die Modelle kostengünstig trainiert und eingesetzt, um die umfangreiche Münzsammlung des Ashmolean Museums, des ersten öffentlichen Museums in Großbritannien und des ersten Universitätsmuseums der Welt, automatisch zu katalogisieren. Auf AWS identifiziert und katalogisiert das Bilderkennungssystem Münzen in einem Bruchteil der Zeit, die menschliche ehrenamtliche Mitarbeiter für die gleiche Aufgabe benötigen würden.

GLAM umfasst vier Museen – das Ashmolean Museum of Art and Archaeology, das Oxford University Museum of Natural History, das Pitt Rivers Museum und das History of Science Museum – sowie die Bodleian Libraries und das Oxford Botanic Garden & Harcourt Arboretum. Im Jahr 2019 verzeichnete GLAM 900.000 Besucher in seinen digitalen Sammlungen. Zu den 21 Millionen Objekten gehören lebende Exemplare und Pflanzen, historische Artefakte und sogar Bilder von Objekten, die beschädigt wurden, verloren gingen oder an Sammler zurückgegeben wurden. „Viele Jahre lang haben die Museen nicht allzu aktiv in die IT-Infrastruktur investiert oder sich um deren Verwaltung gekümmert, obwohl diese all unseren digitalen Services zugrunde liegt“, sagt Anjanesh Babu, Systems Architect und Network Manager bei Gardens and Museums IT. „Nach Jahren der Unterinvestition in veraltete Infrastruktur hat die University of Oxford mit dem Programm GLAM Digital einen strategischen Fokus auf die digitale Transformation gebündelt.“ Als Teil dieses Programms war das Projekt zur Verbesserung der digitalen Infrastruktur der Grundstein für die grundlegende Verbesserung der Infrastruktur, um sie für die in den Zielen festgelegten digitalen Bestrebungen fit zu machen. Im Jahr 2017 lud das Projekt 60 TB an digitalen Aufzeichnungen auf Amazon Simple Storage Service (Amazon S3) hoch, einen Objektspeicherdienst, der branchenführende Skalierbarkeit, Datenverfügbarkeit, Sicherheit und Leistung bietet.

Um den Zugang zu den Sammlungen für die digitale Lehre und Forschung zu optimieren, strebte GLAM eine ML-Lösung an, die die Zeit, die eine Forschungsabteilung für die Identifizierung und Katalogisierung eines Objekts benötigt, reduzieren sollte. Zu diesem Zweck musste Anjanesh eine geeignete, gut katalogisierte Sammlung finden, die als Prototyp dienen sollte. Jerome Mairat, Kurator des Heberden Coin Room im Ashmolean Museum, hatte bereits Erfahrung mit der Entwicklung digitaler Sammlungen von Grund auf und bot seine Unterstützung bei dieser Erkundung an. Die Lösung würde zunächst mit dem Roman Provincial Coinage online arbeiten, einem weltweit anerkannten Forschungsprojekt in der Numismatik. "Ich wollte ein praktisches Beispiel dafür haben, was wir tun können, um es den Beteiligten zu zeigen", erklärt Anjanesh. „Münzen sind ein natürlicher Träger dieser Botschaft und haben eine enorme Bindungskraft. Dies veranlasste uns dazu, das Data-Science-Team bei AWS ins Boot zu holen.“ Der erste Schritt beim Machine Learning besteht darin, zu entscheiden, was man vorhersagen möchte – in diesem Fall wollte Anjanesh ein einfaches Ergebnis vorhersagen: Kopf oder Zahl – das heißt, Vorderseite oder Rückseite. Könnte eine ML-Lösung angesichts eines Satzes bekannter Trainingsdaten die richtige Seite einer Medaille mit hoher Genauigkeit vorhersagen? Dies war der dringend benötigte Einstieg in die ML-Welt. Das Ergebnis ging über ein einfaches "Kopf oder Zahl" hinaus und führte zu einer wesentlich erweiterten Datenklassifizierung.

GLAM nutzte AWS, um in etwa 10 Wochen 11 ML-Modelle auf Amazon SageMaker zu erstellen und bereitzustellen. Innerhalb dieses Zeitraums dauerten Forschung und Experimentieren etwa einen Monat. „Das Prototyping ging schnell und hat meine Erwartungen übertroffen“, sagt Anjanesh. Unter Verwendung eines anfänglichen Datensatzes von 100.000 Bildern verwendete GLAM zunächst Amazon SageMaker Notebooks, um Modelle zu erstellen, zu trainieren und mit ihnen zu experimentieren. Später wurde auf Amazon SageMaker-Trainingsaufträge umgestellt, da viele Trainingsaufträge gleichzeitig auf Amazon-EC2-P3-Instances (unterstützt von NVIDIA V100 Tensor Core-GPUs) als Amazon-EC2-Spot-Instances gestartet werden konnten. Amazon SageMaker verwaltete die Trainingsaufträge so, dass sie ausgeführt wurden, wenn Rechenkapazität verfügbar war. Durch die Verwendung von Spot-Instance-Preisen konnte GLAM die Modelle zu 10 Prozent der Kosten von Amazon EC2 On-Demand-Instance-Preisen und in 50 Prozent weniger Zeit trainieren. Und da Amazon SageMaker Framework-unabhängig ist, konnte GLAM die Modelle auf PyTorch trainieren und eigene Algorithmen und Skripte implementieren.

Das resultierende Bilderkennungssystem umfasst eine Reihe von Modellen. Zunächst führen mehrere ML-Modelle eine Bildvorverarbeitung durch, damit die Bilderkennungsmodelle die besten Ergebnisse erzielen können. Um beispielsweise eine Münze zu digitalisieren, fotografieren Freiwillige – normalerweise Universitätsstudenten – jede Seite und katalogisieren sie dann. Wenn die Münze auch nur um 20 Grad versetzt ist, können die ML-Modelle sie nicht mehr so gut verarbeiten. Daher werden faltungsneuronale Netze verwendet, um jedes Bild um 90 Grad zu drehen - ein Prozess, der laut Jerome allein dem Ashmolean Museum bis zu drei Jahre Arbeit ersparen würde. Ein anderes Modell entfernt den Hintergrund aus dem Bild der Münze, ein weiteres verwendet hochmoderne adversarische Netzwerke, um ein Bild zu entschärfen, zu entrauschen und hochzuskalieren, um es qualitativ hochwertig zu machen. Dieser Vorgang ist so effektiv, dass sogar mit Handys aufgenommene Bilder verwendet werden können.

Sobald das Bild fertig ist, extrahieren weitere ML-Modelle die Merkmale der Münze - z. B. ob sie einen Preis hat, aus Metall besteht oder eine Person abbildet - und verwenden diese Informationen, um Münzen mit ähnlichen Merkmalen im GLAM-Index zu finden. Ein Transformationsmodell erzeugt dann Bildbeschriftungen oder Metadaten, die jedem Bild zugeordnet werden. Alle Modelle werden auf Amazon EC2 G4 Instances (unterstützt von NVIDIA T4 Tensor Core GPUs) bereitgestellt, wodurch die Inferenzzeit von Minuten auf Sekunden verkürzt wird.

Das Bilderkennungssystem soll bei einer Sammlung von 300.000 Münzen bis zu 3 Jahre Arbeit einsparen. "Es ersetzt unsere Produktionslinie durch ein ML-Modell, das die Kuratierungsschritte verbessert", sagt Anjanesh. Jerome fügt hinzu: „Jetzt können wir unsere Freiwilligen für andere Schritte einsetzen, die einen Mehrwert schaffen. Der ML-Prozess verbessert den Workflow und die Produktivität und schafft einen Mehrwert für die Öffentlichkeit.“ Es wird erwartet, dass ML-Modelle in Zukunft bei der Kategorisierung der großen GLAM-Bilddatensätze führend sein werden.

Die Analyse einer Münze, für die Freiwillige bisher zwischen 10 Minuten und Stunden brauchten, soll nach der Einführung des Bilderkennungssystems nur noch wenige Minuten dauern.. "Wenn wir ML-Modelle gegen Datensätze einsetzen und diese für die Validierung und Bildverbesserung zuständig sind, würde das nicht nur Zeit sparen, sondern uns auch die Möglichkeit geben, Freiwillige auszubilden, damit sie eventuell mit solchen Modellen arbeiten können. Das Wissen, das die Studenten dabei erwerben können, ist ein weiterer Mehrwert, den wir dem gesamten Prozess hinzufügen können", erklärt Jerome.

Das Bilderkennungssystem kann auch verwendet werden, um die visuelle Interaktion mit Besuchern zu fördern. Das Ashmolean Museum beispielsweise veranstaltete früher Objektidentifizierungssitzungen, zu denen die Besucher Objekte mitbringen und sich von den Kuratoren beraten lassen konnten, um diese Objekte zu identifizieren und ihre Geschichte zu erfahren. Dank der AWS-gestützten Bilderkennung kann eine Person nun ein Objekt fotografieren und dieses Bild von zu Hause aus hochladen, um Details darüber zu erfahren, was zu Möglichkeiten der virtuellen Objektidentifizierung führt.

GLAM plant, sein Bilderkennungssystem nicht nur auf Münzen anzuwenden, sondern auch auf komplexere Gegenstände wie Pflanzen, Edelsteine, Schmetterlinge und andere Sammlungen. Außerdem will sie eine Open-Source-Version des Systems mit anderen Universitäten und Forschungseinrichtungen auf GitHub teilen, um die gemeinsame Nutzung von Datensätzen als Teil des größeren strategischen Plans zu fördern.

Mit Blick auf die Zukunft stellt sich Anjanesh weitere Möglichkeiten vor, wie ML den Zugang zu den Sammlungen von GLAM verbessern und interne Prozesse rationalisieren könnte. Derzeit können Besucher der Website nicht mit einem einzigen Suchfeld nach einem bestimmten Objekt in den GLAM-Sammlungen suchen, sondern müssen für jedes Museum oder jede Bibliothek eine eigene Website besuchen. Es wird angestrebt, eine kollektionsübergreifende Suchfunktion für die gesamte GLAM anzubieten. Letztendlich plant Anjanesh eine noch umfassendere Suchfunktion, die die Sammlungen einer Vielzahl von teilnehmenden Universitäten und Partnern aus der ganzen Welt durchforsten würde. Darüber hinaus könnten ML-Lösungen zur Überwachung und Anpassung der Temperatur in den Galerien eingesetzt werden, um die Objekte bestmöglich zu erhalten - was die Arbeit der Pflegeteams in den Sammlungen unterstützen würde.

Durch den Aufbau eines Bilderkennungssystems auf AWS hat GLAM den Zugang zu seinen Sammlungen für Studenten, Forscher und öffentliche Besucher erheblich verbessert und gleichzeitig seinen Mitarbeitern und Freiwilligen eine Menge Arbeit erspart. „Ich weiß es zu schätzen, wie viel Mühe AWS hier investiert hat“, sagt Anjanesh. "Ich dachte, dass dieses Projekt komplex und zeitaufwändig sein würde, aber die Verwendung von AWS machte es einfach, da es sich um gängige Standardtools handelt, die sowohl portabel als auch schnell zu liefern sind."