DeepLens Family Assistant

Al pensar en ideas de desafíos para DeepLens, decidimos rápidamente que queríamos crear algo que pudiera ayudar a personas con necesidades. Queríamos usar la tecnología para unir a las personas y no como un objetivo en sí misma. Después de considerar muchas de las aplicaciones del dispositivo DeepLens, reconocimos que la capacidad de reconocer rostros sería invaluable para ayudar a aquellos que tenían dificultades para reconocer a otras personas. Las pacientes diagnosticados con demencia tienen dificultades en reconocer a sus amigos e incluso sus familiares, lo que puede causar que se desorienten y se confundan cuando hablan con sus seres queridos.

Los pacientes que sufren pérdida de memoria pueden usar nuestra aplicación que los ayuda a recordar a sus seres queridos. La cámara del dispositivo DeepLens configurada con nuestra aplicación puede actuar como asistente. Reconoce a los familiares y a los amigos en frente de la cámara y el audio reproduce su nombre con una breve biografía. Esto beneficia y ayuda conectar los cabos sueltos para aquellas personas con pérdida de memoria.

Las imágenes de familiares y amigos con una breve información se configuran previamente y se cargan en un almacén de datos. Cualquier miembro de la familia del paciente puede cargarlo a través de la interfaz de usuario web simple de la aplicación.

Los pacientes también pueden utilizar la cámara y la aplicación del dispositivo DeepLens en su casa para hacer ejercicios de memoria. Los estudios demuestran que estos ejercicios pueden retardar la pérdida de la memoria. Los pacientes pueden mostrar imágenes de familiares y amigos, las cuales se almacenan en sus teléfonos inteligentes y se envían a la cámara. Se reconoce la imagen y se reproduce el audio del nombre con la biografía de la persona. También las pueden utilizar los médicos y los cuidadores del paciente.

Creado por: Sachin Solkhan, Kyle Kennedy y Christopher Helms

Se utilizaron los siguientes servicios de AWS para crear la aplicación: modelo predeterminado de detección de rostros provisto con DeepLens, Elastic Beanstalk, Rekognition, Polly, Lambda, S3.

Interfaz de usuario: se utiliza Elastic Beanstalk para crear una aplicación web simple y fácil de usar a fin de cargar fotos maestras de miembros de la familia o amigos con su biografía respectiva. La biografía contendrá información breve sobre la persona, lo que ayudará a establecer las conexiones para el paciente. Toda la información se almacena en un bucket maestro S3.

Modelo de aprendizaje automático: el modelo predeterminado de detección de rostros provisto con DeepLens se usa tal como está dentro de la aplicación. La función lambda asociada con este modelo, que se ejecuta dentro del servicio Greengrass en el dispositivo, se personalizó para cargar marcos de imagen en S3 y reproducir audio.

Reconocimiento facial: el servicio de reconocimiento de AWS se utiliza para reconocer los rostros cargados mediante marcos que captura el dispositivo.

Texto a voz: utilizamos la funcionalidad synthesizeSpeech de AWS Polly para convertir el recuerdo de los usuarios sobre un amigo, en un archivo de audio que involucra interactivamente al usuario.

Flujo de extremo a extremo: los buckets S3 y la función lambda se usan para asociar todo de manera asíncrona para el flujo de extremo a extremo. Los marcos de imágenes que se dejan en el bucket s3 activan una función lambda que se conecta a AWS Rekognition para reconocer a la persona. La información de la persona almacenada en el bucket maestro S3 se recupera y se sintetiza en voz utilizando AWS Polly. El audio de la voz luego se coloca en un bucket de audio S3 que capta la función lambda y que que se ejecuta en el dispositivo para reproducirlo.