Doorman

当社では多くの人がリモート、あるいは複数の場所にあるオフィスで働いています。そのため、ある人が今アクティブ/連絡可能かどうか、その人がどの場所にいるのかを判断するのが非常に難しい場合があります。ステータスをアクティブに変更するのを忘れる場合もあります。複数の地域やタイムゾーンにも対応する必要があります。

また当社では、自分がどこにいるか (在宅勤務かオフィスか、オフィスならばどのオフィスか) を知らせるために Slack のパーソナルステータスメッセージを使用しています。

そこで DeepLens の登場です。どこのオフィスでも、オフィスに入れば自分のことが認識され、Slack でアクティブとマークされるようになり、どのオフィスにいるかがステータスに設定されるようにすれば非常に便利ではないでしょうか。

• オフィスに入室する人を検知する
• 人物の検出を試行する
• 誰なのかが特定されると、Slack に「Welcome @svdgraaf!」という歓迎メッセージが表示される
  
• 誰なのかが特定できない場合は、Slack で「Who is this?」と質問され、 どのユーザーかを選択できる
• 認識対象にしない人物の場合 (クライアントや Slack を使用しないユーザーなど)、「ignore」を選択でき、画像は S3 から削除される
  
• その後、その情報が Rekognition API に保存される
  次回その人物が特定されると Slack チャネルに注記される
  

未実装の機能:

• その人物を Slack でアクティブとして表示する
  
• Slack でその人物のステータスを設定する
  
• Polly で発話させる (デバイスでまだ動作させられていない)
  

作成者: Sander van de Graaf

サーバーレスを使用して構築しました。Lambda 関数のデプロイが非常に簡単でした。独自のモデル構築に挑戦しましたが失敗しました (EC2 インスタンスのトレーニングコストも心配でした)。最終的には、カスタムモデルではなく deeplens-object-detection モデルを使用することにし、「人物」オブジェクトのチェックをオンにしました。

仕組み: DeepLens によって、入室してきたオブジェクトが検出されます。人物が検出された場合は、その部分のスナップショットが作成され、S3 にアップロードされます。これにより guess 関数がトリガーされ、人物の認識が試行されます。既知の人物であれば、Slack API がコールされます。未知の人物の場合も、Slack がコールされます。利用者はチャネルの中で未知の人物を特定のユーザーへ関連付けるようトレーニングでき、画像のトレーニングのために API Gateway が呼び出されます。

上の画像スライド内のアーキテクチャ図をご覧ください。