DeepLens Family Assistant

Mentre stavamo pensando a delle idee per la sfida DeepLens, abbiamo subito deciso che avremmo voluto realizzare qualcosa che potesse aiutare le persone vulnerabili. Volevamo che la tecnologia fosse utile e unisse le persone, e non che fosse fine a se stessa. Dopo aver preso in considerazione molte applicazioni per il dispositivo DeepLens, ci siamo accorti che l’abilità di riconoscere i volti sarebbe stata estremamente preziosa per assistere coloro che hanno difficoltà a riconoscere altre persone. Gli individui che soffrono di demenza hanno difficoltà a riconoscere gli amici e persino i familiari, cosa che potrebbe farli sentire disorientati e confusi quando interagiscono con le persone a loro care.

I pazienti che soffrono di perdita della memoria possono utilizzare la nostra applicazione per riuscire a ricordare coloro a cui più tengono. La telecamera del dispositivo DeepLens configurata con la nostra applicazione può funzionare come un assistente. Riconosce i familiari e gli amici visualizzati dalla telecamera e riproduce il loro nome e una breve biografia. Ciò rappresenta un enorme aiuto per coloro che soffrono di vuoti di memoria e hanno bisogno di un sostegno per recuperare certe informazioni.

Le immagini di familiari e amici con le relative informazioni sono pre-configurate e caricate su una memoria dati. Questa può essere caricata da chiunque nella famiglia del paziente tramite un’applicazione Web dalla semplice interfaccia utente.

La telecamera del dispositivo DeepLens e l’applicazione possono anche essere usate per i pazienti per esercizi mnemonici. Studi dimostrano che gli esercizi di memoria aiutano a ridurre la perdita di memoria. I pazienti possono mostrare le immagini di familiari e amici memorizzate sui loro telefoni alla telecamera. L’immagine è riconosciuta e il dispositivo riprodurrà il nome e la breve biografia della persona. Tale funzione può essere utilizzata anche dai professionisti sanitari che si occupano del paziente.

Creato da: Sachin Solkhan, Kyle Kennedy e Christopher Helms

Per realizzare l’applicazione abbiamo utilizzato i seguenti servizi AWS: il modello predefinito per il riconoscimento facciale fornito con DeepLens, Elastic Beanstalk, Rekognition, Polly, Lambda, S3.

interfaccia utente: per creare una semplice e intuitiva applicazione Web per caricare le immagini dei familiari e degli amici con le relative biografie, è stato utilizzato Elastic Beanstalk. Le biografie contengono brevi informazioni sulla persona, cosa che aiuterebbe il paziente a creare collegamenti e ricordare. Tutte le informazioni sono memorizzate in un bucket master S3.

Modello di machine learning: è stato utilizzato il modello predefinito per il riconoscimento facciale fornito con DeepLens. La funzione Lambda associata con il modello, che viene eseguita all’interno del servizio Greegrass sul dispositivo, è stata personalizzata per caricare le immagini sul bucket S3 e riprodurre audio.

Riconoscimento facciale: è stato utilizzato AWS Rekognition per riconoscere i volti caricati attraverso le immagini catturate dal dispositivo.

Text-to-Speech: abbiamo utilizzato la funzionalità di AWS Polly synthesizeSpeech per trasformare la memoria degli utenti di un amico in un file audio che coinvolge l’utente in modo interattivo.

Flusso end-to-end: sono stati utilizzati bucket S3 e funzioni Lambda per unire in modo asincrono il flusso end-to-end. Le immagini inserite nel bucket S3 fanno partire una funzione Lambda che si connette ad AWS Rekognition per riconoscere le persone. Le informazioni della persona archiviate nel bucket master S3 sono recuperate e sintetizzate in voce utilizzando AWS Polly. L’audio vocale viene poi inserito in un bucket S3 che viene scelto dalla funzione Lambda in esecuzione sul dispositivo per riprodurlo.