(Physical AI を) やらないか〜デバイス作成 & LLM 動作編

昨今 Physical AI という言葉をよく聞くようになりました。簡単に言うと AI を物理世界に適用するということですが、Physical AI は様々な人が様々な文脈で語るので混乱しがちです。AWS の定義 では、

(原文)

At AWS, we define Physical AI as a system of hardware and software that integrates perceiving, understanding, reasoning, and learning to interact with the physical world. Physical AI is a subset of artificial intelligence that focuses on understanding spatiotemporal relationships and the physical nature of the world and then interacts with their surroundings through sensors and actuators. It processes multimodal inputs including images, videos, text, speech, depth/lidar, and real-world sensor data, to derive insights and enable real-time decision-making in autonomous systems capable of operating independently in complex, dynamic environments. For example, an AI model can use reasoning to describe how to pour a cup of coffee, whereas a Physical AI model first reasons where the coffee is located and that it needs to be poured in the cup, and then extends additional capabilities into the physical world to identify, grasp, lift, and pour a cup of coffee in real world conditions.

(日本語訳)

AWS では、Physical AI を、物理世界と相互作用するために知覚、理解、推論、学習を統合するハードウェアとソフトウェアのシステムとして定義しています。Physical AI は、時空間的関係と世界の物理的性質を理解し、センサーとアクチュエーターを通じて周囲と相互作用することに焦点を当てた人工知能のサブセットです。画像、ビデオ、テキスト、音声、深度/LiDAR 、実世界のセンサーデータを含むマルチモーダル入力を処理し、洞察を導き出し、複雑で動的な環境で独立して動作できる自律システムにおけるリアルタイムの意思決定を可能にします。例えば、AI モデルは推論を使用してコーヒーを注ぐ方法を説明できますが、Physical AI モデルは最初にコーヒーがどこにあり、カップに注ぐ必要があることを推論し、その後、実世界の条件下でコーヒーカップを識別、把持、持ち上げ、注ぐために物理世界への追加能力を拡張します。

とあり、環境情報を取り込んで物理世界を操作することと解釈することができます。もちろん LLM もコンピューターのメモリの各 bit の ON/OFF 等はできるので、そういう意味だと物理的になにかを動かしている、とも言えなくはなさそうですがそうではなく、現在の状況から何をすべきかを理解し、物理的な行動を起こすことが Physical AI と言えそうです。最近 Physical AI という言葉を聞かない日はありません。

世界的ですもんね。乗るしかない。このビッグウェーブに。

というわけで Physical AI の波にどう乗ればいいかわからない方のために、まず私が乗ってみましたというメモ書きです。


 

ただし、このキットにアームの肉体（？）部分は含まれないので、アームは 3D プリンターで印刷するか、秋月電子などで印刷済みのものを購入する必要があります。
逸般の誤家庭には 3D プリンターの 1 台や 2 台は家にあるかと思いますので、私は印刷しました。

パーツを一気に全て印刷することもできる (Follower Arm, Leader Arm) のですが、私が使っている Bambu Lab A1 mini という 3D プリンターだと、ベッド (印刷する場所) のサイズが小さくて一度に印刷できなかったので、以下のように３回に分けて印刷しました。


 

このデバイスはキットに同梱されている USB ケーブルとドライバーを通じて操作することができます。操作はモータの制御と同義です。モーターはサーボモーターのため、回転位置制御 (モーターをどの位置に回転させるか、という操作) を行うことができます。

モーター制御に必要な情報を取得して、設定ファイルとして保存しました。

あらかじめ キャリブレーション しておき、フォロワーアームの各モーターがどの位置まで動かせるのかを、メモしたファイルです。最後の port キーは USB ドライバーの Mac 側で認識した ID を指しています。


 

さて、人が目で確認しながらアームでモノを掴めることはわかりましたがこれは AI を使ってないのでただの Physical です(形容詞もおかしいので Physics というツッコミはさておき)。

Physical AI においてロボットを操作するのは VLA (Vision Language Action Model) モデルを使うのが一般的です。VLA モデルとは Vision-Language-Action Models: Concepts, Progress, Applications and Challenges に依ると

原文
Vision-Language-Action (VLA) models mark a transformative advancement in artificial intelligence, aiming to unify perception, natural language understanding, and embodied action within a single computational framework.

日本語訳
Vision-Language-Action（VLA）モデルは、人工知能における変革的な進歩を示しており、知覚、自然言語理解、および具現化された行動を単一の計算フレームワーク内で統合することを目指しています。

とあり、この文脈で意訳すると、見て(Vision)、何をすべきか理解し(Language)、行動する(Action) ことを End to End で行うモデルのことを指します。

VLA は OpenVLA といった MIT-0 ライセンスで公開されているモデルもありますし、今回利用している SO-101 をサポートしている SmolVLA といった比較的軽量 (450M パラメータ) のモデルもありますが、動作環境をいきなり用意するのはクラウドがあっても少し手間です。そこで、まず導入は楽をするために VLA ではなく、LLM を用いて動かすこととしました。ロボットはすでに回転位置制御ができるため、MCP サーバーを作ってしまえば LLM から動かすことが可能なはずです。というわけで、まずは MCP サーバーを実装しました。

• capture.py
  
• so101.py

capture.py は USB カメラで撮影してファイル名を返す MCP サーバー、so101.py は各モーターの回転位置を与えるとその回転位置にロボットアームが移動する MCP サーバーです（+ モーターの現在の回転位置も取得できる）。


 

理由として、モーターの回転位置と物理的な位置がリンクしていないことが上げられます(モーターをこの位置に動かすと掴む装置 (グリッパー) が x, y, z, ロール, ピッチ, ヨーの値がいくつになるのかがわからない)。

画像を用いて探索的にいけばいけるかと思い、左上や右下にグリッパーを持っていったときに各モーターがどの値になるのか、みたいなヒントも与えてみましたが、触れただけで掴むことまではうまく行きませんでした (最後グリッパーが開いちゃっているのが問題で、グリッパーが開いていなければ掴めた可能性がありますが）。
なかなかムズカシイぜ Physical AI …！