DEAR - Deep Emotion Audience Rekognition

Uno de los desafíos relacionados con los sistemas de medición de audiencias es que se basan en gran medida en la calidad de las respuestas obtenidas de los participantes de las encuestas. Nuestro objetivo es reducir la sobrecarga que implica el reconocimiento de emociones en las audiencias y, simultáneamente, aumentar el nivel de fiabilidad de las mediciones.

La solución incluye el uso de un dispositivo AWS DeepLens para reconocer rostros con una interfaz local y enviar únicamente los clips de los rostros a S3. A continuación, una función de Lambda que monitorea el bucket de S3, llama a Rekognition para obtener las emociones de cada rostro. Luego, los datos son enviados a DynamoDB para archivarse y a CloudWatch para realizar una monitorización en tiempo real de las métricas.

Autores: Ricardo Mota y Jidesh Veeramachaneni

No sería práctico enviar el fotograma entero en tiempo real a Rekognition, por lo que la inferencia local en DeepLens es una solución mucho más optimizada en la que el ancho de banda de salida deja de ser un problema. Esta estrategia hace posibles los siguientes casos, que de otra manera no serían prácticos sin inferencia local:

• Clasificaciones más precisas de hogares que participan en grupos de clasificación televisiva
• Los presentadores pueden medir cómo reaccionó su audiencia en diferentes partes de su presentación en vez de recurrir únicamente a los comentarios escritos. ¿Se podrá utilizar en el próximo re:Invent ?
• Las películas y los programas nuevos a menudo se evalúan con audiencias que utilizan un dial para compartir sus comentarios. Esta estrategia se puede ampliar con el reconocimiento de emociones para conocer en mayor profundidad cuál fue la reacción de la audiencia.

En general, la capacidad de combinar inferencia local con servicios de aprendizaje profundo basados en la nube puede transformar mediciones que de otra manera serían poco prácticas en mediciones increíblemente sencillas.