ASLens

ASLens は AWS DeepLens を使用して、アメリカ手話のアルファベットをスピーチに翻訳します。

AWS DeepLens は動画をキャプチャし、AWS SageMaker を使用して構築された深層学習モデルをそれぞれのフレームに対して実行します。ASL アルファベットの文字が認識されると、AWS DeepLens がその文字を AWS Polly によって生成された MP3 ファイルを使って再生します。

ASLens は AWS DeepLens 上でローカルに実行されるため、インターネット接続は必要ありません。これによりネットワーク間のホップがなくなり、帯域幅の問題が解消され、スピードが向上します。

作成者: Chris Coombs

Chris と ASLens プロジェクトの詳細については、AWS Machine Learning のブログ記事をご覧ください。

ASLens 深層学習モデルは AWS SageMaker を使って作成されました。画像転送学習の例を使用して、トレーニングデータから最初のモデルに 1 時間以内に移行できました。

まず、Lambda 関数が AWS SageMaker モデルを AWS DeepLens GPU での実行用に最適化し、その後それぞれのフレームをトリミングおよびスケーリングします。サイズが変更されるとそのモデルに対して動画のフレームが実行され、ASL アルファベットが検出されると対応する MP3 ファイルが再生されます。