Amazon Machine Learning で実行する社会的支援ロボットを使って車椅子の利用者に力を与える

Loro は社会的支援ロボットで、身体が不自由なユーザーが、周囲を見たり、感じたり、話したり、人々と対話したりするのを支援することによって、世界をよりしっかりと体験するのをサポートしています。  Loro は、さまざまな AWS 人工知能 (AI) サービス、特に機械学習 (ML) サービスを駆使して、幅広いユースケースで役立っています。

車椅子の利用者やその他の身体が不自由な人たちが直面する困難は、身体的な制約にとどまりません。社会的なやり取りや個人の健康と安全が、生活の中で絶えず直面する難題です。Loro の共同創設者 David Hojah 氏と Johae Song 氏は、車椅子に縛られた友人でメンターの Steve Saling に触発されて、これらの難題を軽減するために社会的支援ロボットを創作しようと決意しました。CTO の Hojah 氏は「Loro が肩に乗ったオウムのようにフレンドリーな伴侶になれればと思いました」と言葉をつづっています。

この「オウム」とそのコンパニオンアプリを徹底的にバックアップしているのが、AWS AI/ML です。  Among the services that work in concert to give Loro its assistive abilities are Amazon SageMaker and AWS DeepLens, as well as a wide combination of Amazon Comprehend, Amazon Lex, Amazon Polly, Amazon Rekognition, Amazon Transcribe, Amazon Translate, and Amazon Textract.

Loro 自体は 30 cm ほどの高さがあり、車椅子の側面に取りつけられるように設計されています。“We started with just the idea of a camera attached to the wheelchair, to give people a panoramic view so they can navigate easily,” Hojah explained to TechCrunch in a recent interview.「メンターや専門家と話をした後、そのアイデアを発展させました。多くの反復を行い、よりスマートにするというアイデアを思いついたのです。そして今、このプラットフォームでこれらすべてのことを行えます」。

Hojah が言う「これらすべてのこと」は、絶えず拡大し続けている Loro の一連のサービスのことを指していて、今ではユーザーが周囲を見たり、感じたり、話したり、人々と対話したり、情報にアクセスしたりできるようにしています。  このロボットは、小型カメラと内蔵のビデオスクリーンを使用して、ユーザーに周囲のパノラマビューを見せています。Amazon Rekognition を使用すると、360 度の視野で人々の顔を識別でき、ラベルを付けることでユーザーが彼らを追跡しやすくしています。カメラはまた、ユーザーが視線計測を使ってナビゲートすることを可能にします。  その他の機能としては、ジェスチャーを補助するフラッシュライトやレーザーポインターなどの便利なツールもあります。

「さらに、Loro には顔認識に基づく「追跡モード」があります。それにより、手動でカメラビューを制御することなく自動的に回転させて、車椅子利用者の前を移動している人を追跡することができます。  それは大切な人たちと交流できる素晴らしいツールです」と Hojah 氏は語ります。

Loro はまた、感情認識を取り入れて、患者、介護者、そしてエンドユーザーの周りにいる人たちの感情状態を識別することができます。Amazon SageMaker の強化学習により、Loro は特に頻繁に遭遇する人たちの感情を探知する機能を継続的に向上させています。  それとは別に、Loro は Amazon SageMaker を使用して、周囲の状況に基づいて特定の人々の外観や感情を予測します。

多くの Loro ユーザーは話すことが不自由なため、Loro は Amazon Lex と Amazon Polly を連携させて会話を理解し、参加できるようにしています。  聞き取った音声はテキストとして画面に表示します。ユーザーは画面に入力することで、Polly の助けを借りて応答することができます。  さらに、Loro は Amazon Lex と Amazon SageMaker を使用して環境内の音を理解し、それらに基づいてアクションを起こす必要があるかどうかを判断します。 たとえば、ドアのチャイムが聞こえたら、口頭で質問することでユーザーの注意を喚起し、画面のボタンでドアに向かって移動するかどうかを決められます。  この機能は、ユーザーの身の安全を守るのにも役立ちます。ユーザーが支援を必要としているときに介護者に知らせることができるためです。将来的には、(既に提供されている電気の ON/OFF と温度制御に加えて) Loro は多数のスマートホームデバイスとシームレスに連携できるようになるでしょう。

直感的で包括的でユーザーフレンドリーな体験を提供することに加えて、Loro はプライバシーを保護するようにも設計されています。Amazon Cognito は、Loro のユーザー登録およびアクセス制御プロセスが完全に安全であることを保証します。  Loro はすべてのデータを完全に暗号化して、インターネット経由で送信し、クラウドに保存しています (Amazon S3 を使用して)。

Loro のソリューションとその背後にあるイノベーション会社は、思いやりのある製品で世界中で認められています。  Hojah は、「夢で見たのと同じように、優れたアイデアがテクノロジーと組み合わさると何が生まれるかを見せられました」とその成功を語っています。  AWS が Loro の唯一の AI/ML プラットフォームを提供したことで、テクノロジーアシストケアロボットという夢が実現できたのです。

著者について

Marisa Messina は、AWS ML マーケティングチームに所属しています。仕事では AWS を使用している最も革新的なお客様を見定めたり、示唆に富んだストーリーを紹介したりしています。AWS に入社する前は、Microsoft で消費者向けハードウェア、次に大学向けクラウド製品を担当していました。仕事以外では、太平洋岸北西部のハイキングコースを探索したり、レシピなしで料理をしたり、雨の中で踊ったりして楽しんでいます。