DermLens

Schuppenflechte ist eine häufige chronische Hautkrankheit, von der bis zu 7,5 Millionen Amerikaner und mehr als 125 Millionen Menschen weltweit betroffen sind. Die Krankheit kann erhebliche negative Auswirkungen auf die Lebensqualität der Menschen haben. Die Verbesserung des Managements der Krankheit wird große Auswirkungen auf die Menschen und die Gesellschaft haben.

Die häufigsten Symptome der Schuppenflechte sind visuell und können mit DeepLens erfasst werden. Die Schuppenflechte ist durch anormale Hautflecken gekennzeichnet, die typischerweise rot und schuppig sind.

Mit DeepLens können wir eine kostengünstige, skalierbare Lösung anbieten, um das Leben von Millionen Menschen zu verändern, indem wir Patienten mit Schuppenflechte die Möglichkeit geben, ihren Zustand zu überwachen und zu verwalten. Die lokale Ausführung von Algorithmen für maschinelles Lernen und Inferenz in Echtzeit ist ein Spiel-Wechsler, der die Klassifizierung und Segmentierung am Rande des Netzwerks am Standort des Patienten ermöglicht, anstatt auf eine hohe Bandbreitenkonnektivität zur zentralisierten Hardware angewiesen zu sein.

Erstellt von: Terje Norderhaug und Tom Woolf

Wir haben einen Datensatz von 45 beschrifteten Bildern von Haut mit abnormalen Segmenten verwendet Jedes Bild im Trainingsset wird mit einer Maske geliefert, die die abnormale Haut anzeigt. Wir haben ein Modell auf DeepLens mit den Bildern im Trainingsset trainiert.

Unsere Cloud Integration nutzt AWS. Zusätzlich zu DeepLens haben wir MQTT verwendet, damit unsere App einen Informationsfluss vom DeepLens-Gerät erhält. Unsere Lambda-Funktion wird ausgelöst, um eine Vertrauensschätzung für den Schweregrad der Schuppenflechte zu ergeben, basierend auf der Segmentierung und dem Prozentsatz des Bildes, der potenziell als gefährdet angesehen wird. Wir haben MXNet und Tensorflow für das Modelltraining zusammen mit der Hyperparameterverfeinerung mit Sagemaker verwendet. Das Modell wurde durch Training sowohl am Gerät (siehe YouTube-Video) als auch von Sagemaker mit unseren Bildern in einem S3-Bucket bewertet.

Neben AWS-Konsolen- und CLI-Ressourcen baut das Projekt auf node.js und Python Lambda-Funktionen auf sowie Python-Notebooks, die Juypter und AWS-Ressourcen zum Lernen nutzen. Wir haben eine Kombination aus zwei Laptops, einem Desktop-Computer und AWS-Ressourcen sowie DeepLens für den Aufbau und die Tests verwendet.

Wir haben mit ClojureScript und React eine begleitende mobile App zur Selbstbeurteilung von zusätzlichen Symptomen wie Juckreiz und Müdigkeit entwickelt. Es ist für den Einsatz in einem Dauerpflege-Szenario vorgesehen, in dem die gemeldeten Daten für den Arzt und das Pflegeteam verfügbar sind. Wir gehen davon aus, dass DeepLens letztlich in ein Hardwareprodukt für Schuppenflechte-Patienten eingebettet werden kann, das auch solche zusätzlichen Symptome erfasst.