Amazon Web Services ブログ
VR × モーションキャプチャ × AI でパデルフォームを可視化する ── AWS Builders’ Fair 展示のご紹介
1. はじめに
こんにちは、ソリューションアーキテクトの戸塚と中本と宇加治です。
AWS Summit Japan 2026 の AWS Builders’ Fair にて、パデルフォーム分析アプリを展示します。パデルを知らない方向けに簡単に説明すると、テニスとスカッシュを合わせたような、壁に囲まれた小さめコートで 2 対 2 のダブルスだけで行うラケットスポーツです。この展示は、テクノロジーでスポーツ体験を拡張し、競技者の感覚や経験だけでは捉えにくいフォームの違いを可視化する取り組みとして、多くの方に触っていただきたい内容となっています。
このブログでは、展示の概要、使用している技術スタック、AI 駆動の開発手法、そしてこのシステムが解決する課題と他インダストリーへの応用可能性についてご紹介します。エンジニアの方もたくさん参加されていると思うので、ぜひ技術的な観点からも楽しんでいただければ嬉しいです。
2. AWS Summit Japan 2026 について
AWS Summit Japan 2026 は、2026年6月25日から26日まで幕張メッセで開催される、クラウドと AI イノベーションの最前線を体験できる 2 日間の無料イベントです。260 以上のセッションに加え、AWS Village、ワークショップ、Partner Solution Expo など多彩なコンテンツが用意されています。AWS Builders’ Fair エリアは、AWS エンジニアが自作した “遊べる” デモを体験しながら、AI・IoT・サーバーレスなどの活用事例を学べるハンズオン型の展示ゾーンとなっています。来場者は自由にブースを回り、生成AI・IoT・サーバーレスなどを組み合わせたインタラクティブなデモを、実際に触ったり遊んだりしながら体験できます。
3. パデフォーム分析アプリ展示概要
このアプリは、Meta Quest(VR ヘッドセット)、HaritoraX(モーションキャプチャデバイス)、カメラによる骨格推定技術(MoveNet)を組み合わせ、バーチャル空間でパデルの球出しを受けた際の動作を計測・分析する仕組みです。
単にスイングを記録するだけではなく、身体の各部位の動きやタイミングの差分をとらえ、トッププレーヤーのフォームと比較評価できるように設計しています。
3.1 体験の流れ
- VR 空間で球出しを受ける — Godot で構築された 3D 空間内でプレー
- リアルタイムモーションキャプチャ — HaritoraX + カメラで動作データを取得
- フォーム分析 — DTW(Dynamic Time Wrapping) アルゴリズムでトッププレーヤーのフォームと比較 ※
- 結果表示 — 5 指標のスコアカード + 生成 AI によるアドバイス
- VR、Haritora、カメラの3つのソースを統合して、最終的に 5 つの指標として評価するように実装しています。
※骨格推定には OpenPose や MoveNet といったスポーツ動作分析の標準手法を使っています。時系列比較の DTW は、 Ba č i ćらが 2022 年の VISAPP でストローク分類に使用しています。プロとの比較は Stanford の Liu が 2025 年に DTW によるプロ対アマ比較を行っています。フェーズ分割はバイオメカニクスの標準的なアプローチとなっています。
ゲームとして楽しめるだけでなく、トレーニングにもなる設計を目指しています。プレイヤーは VR 空間の中でさまざまなボール(レボテやコントラパレットを含む)に対応することになり、楽しみながらフォームの改善ポイントを発見できます。
3.3 トッププレーヤーの教師データ
事前計測には、パデルトッププレーヤーとして久留広平選手、内海信仁選手、瀧田瑞月選手、内海和心選手に AWS オフィスへお越しいただきました。計測で取得したデータは、すでにアプリ内の教師データとして実装されており、体験者は彼らのフォームとの差異を比較できるようになっています。
この仕組みの面白さは、単に「上手い・下手」を判定することではありません。トッププレーヤーの動作を基準にすることで、打点の入り方、身体の回旋、重心移動、準備動作の速さなど、普段は言語化しにくい技術要素を、比較可能な形で捉えられる点にあります。
また、コーチングや自己改善の文脈でも活用しやすいのが特徴です。感覚に頼りがちなフォーム指導に対して、再現性のある比較軸を持ち込めるため、競技経験者はもちろん、これから上達したいプレーヤーにとっても新しい学習体験になり得ます。
3.4 トッププレーヤーからのコメント
教師データ計測に協力いただいた選手から、本システムを実際に使用した感想をいただきました。システムの可能性を評価する前向きなコメントに加え、今後の活用方法に関するアイデアも頂戴しました。
■ 久留 広平選手(日本代表)
コーチの視点では、フォームや身体の使い方を指導する際に選手がイメージしている動作と実際の動作に乖離が見られるケースがあり、そのような場面でデータに基づくフォーム分析を活用することで、効果的な指導につなげられると感じました。
■ 内海 信仁選手(ベテラン日本代表)
日本は世界から30年のビハインドがあり、中東、東南アジアは英語が話せるアドバンテージでどんどん差を埋めていますが、日本はそれが出来ていません。それをテクノロジーで埋めていくというのは日本らしさがあってとても素晴らしいと感じました。
■ 瀧田 瑞月選手(2018〜2023 日本代表 2025年 Jr 日本代表サブコーチ)
率直に、これからの可能性にとてもワクワクしました。パデルに限らず、エンターテインメントやコーチング、競技力向上など、さまざまなカテゴリーで活用できる可能性を感じました。今後どのように発展していくのか、とても楽しみです。
■ 内海 和心選手(日本代表)
自分の足りないところやいいところを見つけてくれるところが面白いと感じました。プロと比べて何が劣っているかとか見つかるところが今後の成長に繋がりそうだと思いました。
4. システムアーキテクチャ
4.1 全体構成
この展示は、スポーツテック、XR、センシング、コンピュータビジョンを横断する実験でもあります。Meta Quest による没入的な体験、HaritoraX によるモーションキャプチャ、カメラベースの骨格推定による姿勢解析を組み合わせることで、単一センサーだけでは捉えきれないフォーム情報を多面的に扱えるようにしています。VR アプリ構築には、Unity や Unreal Engine なども候補にあがりましたが、今回は費用も極力抑えることを考え、完全無料でオープンソースの Godot を採用しました。Godot は、Python に似た独自の言語「GDScript」を使います。文法がシンプルで読みやすいため初心者でも学習しやすい設計になっています。もちろん C# や C++ も使うことができます。今回はこの GDScript 等をKiro の力を活用することで、自然言語でのやりとりでこのような VR アプリのオブジェクトや VR 空間での挙動までもプログラミングしているので、GDScript の学習コストはかかりませんでした。
本システムは以下のコンポーネントで構成されています:
| レイヤー | 技術 | 用途 |
|---|---|---|
| VR / 3D 空間 | Godot Engine | VR空間内でのパデル球出しシミュレーション。自然言語(Kiro)で開発 |
| VR デバイス | Meta Quest | VR ヘッドセットによる没入体験 |
| モーションキャプチャ | HaritoraX | 身体トラッキング(全身の動きを取得) |
| 骨格推定 | MoveNet (TensorFlow Hub) | カメラ映像からリアルタイム骨格推定(17 キーポイント) |
| フロントエンド | Tauri v2 + React + TypeScript + Vite | デスクトップアプリ(結果表示・操作 UI)
バックエンド |
| バックエンド | Python FastAPI + Uvicorn | リアルタイム分析 API(WebSocket 対応) |
| フォーム比較 | DTW (Dynamic Time Warping) | 時系列データの非線形マッチングによるフォーム比較 |
| クラウド | AWS CDK (ECS Fargate + ALB + S3 + DynamoDB) | 評価処理のオフロード、スコア永続化、ランキング |
| AI フィードバック | Amazon Bedrock | スコアに基づくパーソナライズされた改善アドバイス |
エッジ側で動くアプリケーションは AWS IoT Greengrass の OTA (Over the Air)アップデート を使ってアプリ配信をする仕組みをとっており、複数拠点にあるアプリを遠隔で更新できる様にしています。また計測後のフィードバックは骨格推定を含んだ動画も見れるようになっており、動画配信は Amazon CloudFront を活用してレイテンシーが抑えられる形にしています。
4.2 AI 駆動の 3D 開発: Kiro × Godot
今後、3D や VR の需要はさらに高まっていくと見られます。一方で、3D プログラミングは従来、空間座標やベクトル演算、物理エンジンの理解など専門性が高く、参入障壁が高い領域でした。
今回のプロジェクトでは、Godot Engine を使った 3D 空間のプログラミングを、Kiro(AI コーディングアシスタント)を用いた自然言語プログラミングで実施しています。たとえば「ボールを放物線で飛ばしてラケットの当たり判定を追加して」「壁に当たったらレボテ(跳ね返り)する物理を実装して」といった指示で、3D 空間の挙動や空間認識のロジックを実装できました。
これにより、3D/VR 開発の経験が浅いエンジニアでも、アイデアを素早くプロトタイピングし、スポーツシミュレーションのような複雑な 3D アプリケーションを構築できることを示しています。AI 駆動の開発が、従来は専門家の領域だった 3D プログラミングの民主化を進める一例と言えます。
4.3 モーションキャプチャデータ連携の技術的課題
本システムの開発で最も技術的に挑戦的だったのは、異なるモーションキャプチャソースからのデータ統合です。
具体的には以下の課題がありました:
- 座標系の統一: HaritoraX(慣性式)、Meta Quest(光学式)、MoveNet(画像ベース)はそれぞれ異なる座標系・スケールで動作データを出力します。これらを統一的な骨格表現に変換する必要がありました。
- データ同期: デバイスごとにサンプリングレートが異なり(カメラ 30fps、HaritoraX 100Hz 等)、時刻同期とリサンプリングの仕組みが必要でした。
- 欠損補間: オクルージョン(身体の一部が隠れる)時のデータ欠損を、他デバイスのデータで補間する戦略を設計しました。
- リアルタイム性: 分析結果を体験者にすぐフィードバックするため、WebSocket 経由でのストリーミング処理パイプラインを構築しました。
これらの課題に対して、Kinesis 経由でデータを送りつつ UNIX タイムの時間同期、骨格情報との相対位置によるキャリブレーションにより統合し、クラウドと連携して分析する — これはまさに AWS が得意とする領域です。
5. 今後の可能性
5.1 このアプリが解決する課題
スポーツの世界では、トップ選手の技術は見えているようで、細部まではなかなか共有されません。コーチングの現場でも、「もっと腰を回して」「タイミングが遅い」といったフィードバックは、指導者の主観に依存し、再現性に乏しいものでした。
本システムは以下の課題を解決します:
- フォーム指導の属人化: 感覚的な指導を定量データに置き換え、再現性のある比較軸を提供
- 上達実感の欠如: スコアの時系列推移を記録し、小さな改善も可視化
- トップ選手の技術の暗黙知化: 動作データとして記録し、比較可能な形でアクセス可能に
- フィードバックの即時性: リアルタイム計測 → 即座にスコア表示、改善ポイントを AI が提示
- エンゲージメントの低下: VR ゲームとして楽しみながらトレーニングできる体験設計
5.2 他インダストリーへの応用可能性
本システムのコアである「モーションキャプチャ × AI 比較分析 × リアルタイムフィードバック」は、パデルに限らず幅広い分野に応用可能だと考えています。以下にユースケースを示します。
| インダストリー | 応用例 | 期待効果 |
|---|---|---|
| スポーツ全般 | テニス、ゴルフ、野球のスイング分析、サッカーのキック分析 | 定量的なフォーム改善、怪我予防 |
| リハビリ・ヘルスケア | 理学療法での動作評価、リハビリ進捗の定量モニタリング | 回復度の客観的評価、遠隔リハビリ |
| 製造業 | 作業員の動作分析、熟練工の技能伝承 | 品質向上、教育期間短縮 |
| エンターテインメント | ダンスや演技のフォーム評価、モーションキャプチャ活用 | パフォーマンス向上、ゲーミフィケーション |
| フィットネス | パーソナルトレーニングのフォームチェック、ヨガのポーズ評価 | トレーナー不在時の自己改善 |
| 介護・高齢者支援 | 歩行分析、転倒リスク評価 | 早期異常検知、予防介護 |
技術的には、DTW による時系列比較は人間の動作全般に適用可能であり、教師データ(基準動作)を差し替えるだけで異なるドメインに展開できます。AWS のクラウドインフラ(AWS Lambda, Amazon S3, Amazon DynamoDB,Amazon Bedrock, AWS IoT Greengrass等)を活用することで、スケーラブルかつ低コストな運用が可能です。
5.3 今後の展望
今回の展示はデモでありながら、今後の展開余地が大きい取り組みでもあります。
- プレーヤーごとの癖や成長過程の可視化
- ショット別の比較分析(フォアハンド / バックハンド / ボレー / バンデッハ)
- レベル別の推奨フィードバック
- コーチとの振り返り支援(セッション動画 + スコアの共有)
- 「どのトッププレーヤーのフォームに近いか」のパーソナライズ分析
- マルチスポーツ対応(テニス、バドミントン、ゴルフ等)
6. ぜひ会場で体験してください
AWS Summit Japan 2026 の AWS Builders’ Fair は、遊び心あふれるテクノロジー展示を実際に見て、触って、開発者と会話できる場です。パデルフォーム分析アプリも、スポーツとテクノロジーが交わる体験を、できるだけ直感的に楽しんでいただけるよう準備しています。
ブースでアプリを体験いただいた方には、Amazon Padel ステッカーを配布予定です。AWS Summit Japan 2026 に参加される方は、ぜひ Builders’ Fair に立ち寄って、トッププレーヤーとのフォーム比較を体験してみてください。
AWS Summit Japan 2026 公式サイト: https://aws.amazon.com/jp/summits/japan/