小さな子供や、特別な学習を要する一部の大人にとって、電子機器との対話はときに難しいものです。タブレットのスクリーンを読む、コンピュータのキーボードを使う、問題なく音声認識されるように明瞭に話す、といったことが困難な場合もあるかもしれません。しかし、このような問題は、動画認識によって解決されます。テクノロジーは、今や子供たちの世界を把握したうえで、物を拾う、アクションするなどの動作が行われたことを認識できます。これにより、まったく新しい対話方法が生まれます。

DeepLens では、深層学習モデルをオフラインで実行できるため、子供向けの対話用にうってつけです。言い換えれば、デバイスをどこでも利用でき、追加のコストも発生せず、子供たちのデータに関するプライバシーの心配もないということです。

Dee (DeepLens Educating Entertainer) は、質問を音声で伝えます。Dee は参加者に質問し、そして何かを見せてくれるようにお願いします。拡張が簡単な JSON ファイル形式の質問は、4 種類の動物 (鳥、牛、馬、羊)、または 4 種類の乗り物 (飛行機、自転車、バス、バイク) のうちのどれか 1 つが答えとなっています。正しい答えが 1 つのみの質問もあれば (例えば、「モーと鳴くのは?」)、複数の答えがある質問もあります (例えば、「車輪があるのは?」)。正解すると称賛が、不正解の場合は正答を導くためのわかりやすいヒントが与えられます(これこそが対話と積極性の訓練であり、難しいクイズであってはいけません)。

参加者は、答えとして適切な写真を Dee に見せることで質問に回答します。GitHub リポジトリには、印刷可能な回答用の写真が PDF 形式で用意されています。

作成者: Matthew Clark

Matthew と DEE のプロジェクトの詳細については、AWS Machine Learning のブログ記事をご覧ください。

事前定義された DeepLens モデル、deeplens-object-detection が Dee にうまく機能してくれました。そのため、新しくモデルを作成する必要はありませんでした。つまり、Lambda のロジックに、より多くの時間を注ぐことができたのです。

対話を処理するのは、DeepLens デバイス上で (もちろん Greengrass によって) 実行される Lambda 関数です。Lambda 関数では、質問をランダムに選択し、それを発音してから、ユーザーの回答を認識するためにモデル回答を分析します。「もっとやってみましょう」や「すばらしいチョイスです」といった数多くのメッセージが、参加者を鼓舞し、このゲームに参加する気持ちを高めます。

Dee は、Wi-Fi へのアクセスを必要としない設計になっています (ネット接続、コスト、プライバシーに関する心配はいりません)。テキストの読み上げには Amazon Polly を使用するため、このような設計を実現することは困難でした。この問題を克服するために、必要なすべてのフレーズを取得して、それらをローカルで保存するようにスクリプトが作成されています。そのため、Lambda には 69 個の MP3 ファイルが含まれています。