DEAR -Deep Emotion Audience Rekognition

L’un des défis des systèmes de mesure d’audience est que ces derniers dépendent énormément de la qualité des réponses des participants à l’enquête. Notre idée est donc de réduire le travail préalable impliqué dans la reconnaissance d’émotions dans des audiences tout en accroissant la fiabilité des mesures.

La solution implique l’utilisation d’un appareil AWS DeepLens pour reconnaître les visages à l’aide d’une inférence locale et n’envoyer que les clips des visages à S3. Une instance Lambda qui surveille le compartiment S3 appellera Rekognition pour capter les émotions sur chaque visage. Les données sont ensuite transférées vers DynamoDB pour être archivées, ainsi que vers CloudWatch pour une surveillance des mesures en temps réel.

Créé par : Ricardo Mota et Jidesh Veeramachaneni

Il serait contre-productif d’envoyer la totalité du cadre en temps réel pour la reconnaissance, c’est pourquoi l’inférence locale sur l’appareil DeepLens permet d’avoir une solution bien mieux optimisée dans laquelle la bande passante sortante ne devient plus un problème. Cela permet de réaliser les scénarios suivants qui, sans inférence locale, ne seraient pas pratiques :

• des évaluations plus précises des foyers participant au groupe d’évaluation TV
• possibilité pour les présentateurs de mesurer les réactions de l’audience à différentes parties de la présentation plutôt que de s’appuyer uniquement sur des retours écrits Utilisation au re:invent de l’année suivante ?
• Les films et nouvelles émissions sont souvent diffusés avec des audiences utilisant un cadran pour faire part de leurs sentiments. Ce système peut être amélioré avec la reconnaissance émotionnelle afin de profiter d’une compréhension plus approfondie sur les réactions de l’audience.

Dans l’ensemble, la possibilité de combiner l’inférence locale aux services de deep learning cloud permet de simplifier de manière incroyable des mesures qui auraient été contraignantes autrement.