DeepLens Family Assistant

Ispirazione

Mentre stavamo pensando a delle idee per la sfida DeepLens, abbiamo subito deciso che avremmo voluto realizzare qualcosa che potesse aiutare le persone vulnerabili. Volevamo che la tecnologia fosse utile e unisse le persone, e non che fosse fine a se stessa. Dopo aver preso in considerazione molte applicazioni per il dispositivo DeepLens, ci siamo accorti che l’abilità di riconoscere i volti sarebbe stata estremamente preziosa per assistere coloro che hanno difficoltà a riconoscere altre persone. Gli individui che soffrono di demenza hanno difficoltà a riconoscere gli amici e persino i familiari, cosa che potrebbe farli sentire disorientati e confusi quando interagiscono con le persone a loro care.

Cosa fa

I pazienti che soffrono di perdita della memoria possono utilizzare la nostra applicazione per riuscire a ricordare coloro a cui più tengono. La telecamera del dispositivo DeepLens configurata con la nostra applicazione può funzionare come un assistente. Riconosce i familiari e gli amici visualizzati dalla telecamera e riproduce il loro nome e una breve biografia. Ciò rappresenta un enorme aiuto per coloro che soffrono di vuoti di memoria e hanno bisogno di un sostegno per recuperare certe informazioni.

Le immagini di familiari e amici con le relative informazioni sono pre-configurate e caricate su una memoria dati. Questa può essere caricata da chiunque nella famiglia del paziente tramite un’applicazione Web dalla semplice interfaccia utente.

La telecamera del dispositivo DeepLens e l’applicazione possono anche essere usate per i pazienti per esercizi mnemonici. Studi dimostrano che gli esercizi di memoria aiutano a ridurre la perdita di memoria. I pazienti possono mostrare le immagini di familiari e amici memorizzate sui loro telefoni alla telecamera. L’immagine è riconosciuta e il dispositivo riprodurrà il nome e la breve biografia della persona. Tale funzione può essere utilizzata anche dai professionisti sanitari che si occupano del paziente.

Come l’abbiamo realizzato

Per realizzare l’applicazione abbiamo utilizzato i seguenti servizi AWS: il modello predefinito per il riconoscimento facciale fornito con DeepLens, Elastic Beanstalk, Rekognition, Polly, Lambda, S3.

interfaccia utente: per creare una semplice e intuitiva applicazione Web per caricare le immagini dei familiari e degli amici con le relative biografie, è stato utilizzato Elastic Beanstalk. Le biografie contengono brevi informazioni sulla persona, cosa che aiuterebbe il paziente a creare collegamenti e ricordare. Tutte le informazioni sono memorizzate in un bucket master S3.

Modello di machine learning: è stato utilizzato il modello predefinito per il riconoscimento facciale fornito con DeepLens. La funzione Lambda associata con il modello, che viene eseguita all’interno del servizio Greegrass sul dispositivo, è stata personalizzata per caricare le immagini sul bucket S3 e riprodurre audio.

Riconoscimento facciale: è stato utilizzato AWS Rekognition per riconoscere i volti caricati attraverso le immagini catturate dal dispositivo.

Text-to-Speech: abbiamo utilizzato la funzionalità di AWS Polly synthesizeSpeech per trasformare la memoria degli utenti di un amico in un file audio che coinvolge l’utente in modo interattivo.

Flusso end-to-end: sono stati utilizzati bucket S3 e funzioni Lambda per unire in modo asincrono il flusso end-to-end. Le immagini inserite nel bucket S3 fanno partire una funzione Lambda che si connette ad AWS Rekognition per riconoscere le persone. Le informazioni della persona archiviate nel bucket master S3 sono recuperate e sintetizzate in voce utilizzando AWS Polly. L’audio vocale viene poi inserito in un bucket S3 che viene scelto dalla funzione Lambda in esecuzione sul dispositivo per riprodurlo.

Difficoltà

Molte delle difficoltà erano legate al dispositivo DeepLens. Apprezziamo l’aiuto del team AWS che ha risposto pazientemente alle nostre richieste sui forum e il canale Slack. Gli orari disponibili sono stati davvero utili perché ci hanno permesso di avere quasi un’assistenza personalizzata da parte degli esperti su questioni specifiche. Ecco alcune delle difficoltà incontrate circa il dispositivo:

  • Registrare il dispositivo: l’impostazione del dispositivo ha richiesto diversi tentativi per via di problemi come l’URL predefinito che si scontrava con la sottorete del Wi-Fi.
  • Riproduzione audio: abbiamo avuto bisogno di molto aiuto da parte del team AWS e altri partecipanti per realizzare un flusso end-to-end che riproducesse l’audio dal dispositivo. Le maggiori difficoltà riguardavano la modifica manuale del file .json con ciascuna distribuzione del progetto e l’impostazione dei moduli python boto accessibili a ggc_user.

Risultati di cui andiamo fieri

Siamo davvero orgogliosi di aver creato qualcosa che aiuterà chi ne ha bisogno. La nostra applicazione e soluzione aiuterà coloro che soffrono di perdita della memoria e rimanere coinvolti nella società e nella propria cerchia familiare e di amici. L’applicazione fornisce uno strumento che può essere utilizzato in modo indipendente.

Cosa abbiamo imparato

  1. Lavorare con successo con diversi servizi AWS come Rekognition e Polly.
  2. Configurare il dispositivo DeepLens, impostarlo per l’esecuzione su modelli di machine learning ed estenderlo per agire sulle inferenze.

Il futuro di DeepLens Family Assistant

  1. Cercare di eseguire l’applicazione senza una connessione Internet o cloud. Ciò richiede la realizzazione di modelli personalizzati di machine learning per il riconoscimento facciale utilizzando SageMaker e MXNet. Inoltre, bisogna caricarli sul dispositivo in modo che l’inferenza del riconoscimento facciale avvenga sul dispositivo stesso. Questo sarà una aggiornamento molto importante, perché renderà il dispositivo portatile. L’approccio base e il codice Lambda possono essere riutilizzati con il dispositivo DeepLens attuale o qualsiasi altro dispositivo simile che si comporti come un vero e proprio assistente.
  2. Migliorare le prestazioni end-to-end del riconoscimento facciale e riprodurre la relativa biografia. N. 1 dovrebbe essere d’aiuto con questo aspetto.
  3. Assicurarsi di poter associare un dispositivo a un paziente in particolare o una famiglia in particolare.

Creato con

Amazon-Web-Services
Lambda
S3
Python
Rekognition
DeepLens
Polly