面倒な操作は生成 AI に任せよう ! Amazon Bedrock でゲーム自動プレイさせてみた

ゲームなみなさんこんにちは ! Game Solutions Architect の Leng と Kazuki です。
この記事では Amazon Bedrock を使ってゲームを自動プレイさせることでゲーム開発の効率化の可能性を探ってみます。

近年のゲーム開発は肥大化しており、開発期間が 5 年を超えるものや、100 名を超えるメンバーで開発しているタイトルも珍しくありません。そのため、「開発効率や QA 効率を上げる」ことが重要視されています。可能な限り開発者が行わなくてよい作業や繰り返し行う作業などを自動化していきたいものです。その方法の一つとして AI 活用が注目されています。

今回は開発効率、QA 効率を上げるために Amazon Bedrock で利用可能な Anthropic 社が提供している Claude 3.5 Sonnet v2 の新機能の Computer Use を使用してゲームの自動プレイが可能かどうかを実際に試していきます。

X ポスト » | Facebook シェア » | はてブ »

毎月提供されるクラウドレシピのアップデート情報とともに、クレジットコードを受け取ることができます。 

ゲーム開発は機能の開発、チェックの繰り返しで行われます。新しい機能やゲームバランス調整などゲームに手を加えたものが正しく動作しているか、面白くなっているか、など様々なチェックを行っています。全てのチェックをゲーム開発者やテスター
が行えばよいのですが、それでは人的なコストが多くかかってしまいます。同じ作業を行ってなんらかの数値を取得したい、ただゲームがクラッシュしないか確認がしたい、といった簡易チェックなどは人ではなく自動で行わせることでコストを削減することができます。

例えば、出来上がった ROM が問題ないかを確認するための簡易チェック、処理負荷を確認するために様々なステージやシステムに移動し CPU 使用率や FPS (frame per seconds) メモリ容量など処理上げに必要な数値の取得、ゲームを長時間動作させても問題がないか確認するためのエージングテスト、など開発中盤以降で様々な要件で自動プレイをさせたい場面は増えてきます。

多くの場合、自動プレイはエンジニアが専用のコードを組み込んだり、FSM (Finante State Machine) ツールなどを作成し、それを利用してもらうことで実現されることが多いです。「このボタンを押して、次にこのボタンを押して」といった簡単なシーケンス移動でも個別でリソース作成やプログラムの組み込みが必要となります。

この自動プレイ部分を生成 AI が行うことができれば、エンジニアが専用プログラムを作成する必要もなく、テスト専用の FSM リソースなどを作る必要もなくなります。そのことにより属人性の削減やテスト効率が上がるだけでなく、テストやデバッグ用の組み込みプログラムの量が減ることによるエンバグの防止やユーザーと同じ操作での動作確認が可能なので、よりユーザーのプレイを模倣した確認を行うことができます。

Anthropic 社が提供している Claude 3.5 v2 で新しく追加された機能です。Claude が入力されたプロンプトをもとに指定されたコンピューターを操作するという機能です。ユーザーは、Claude に画面を確認させたり、カーソルを移動させたり、ボタンを押させたり、テキストを入力させたり、など Claude に指示することで自身のコンピューターを操作させることができます。このことにより Claude にコンピューター上の様々なアプリケーションなどを使ってあるタスクを行わせる、など LLM 単体だけではできない作業を指示して行わせることができます。

記事を執筆した 2025 年 1 月では Computer Use はまだパブリックベータ版の機能となります。そのため今後機能の内容が変わる可能性もあります。また Anthropic からも Computer Use を使用する際には以下の注意事項の記載があります。

Caution
Computer use is a beta feature. Please be aware that computer use poses unique risks that are distinct from standard API features or chat interfaces. These risks are heightened when using computer use to interact with the internet. To minimize risks, consider taking precautions such as:
1.Use a dedicated virtual machine or container with minimal privileges to prevent direct system attacks or accidents.
2.Avoid giving the model access to sensitive data, such as account login information, to prevent information theft.
3.Limit internet access to an allowlist of domains to reduce exposure to malicious content.
4.Ask a human to confirm decisions that may result in meaningful real-world consequences as well as any tasks requiring affirmative consent, such as accepting cookies, executing financial transactions, or agreeing to terms of service.
In some circumstances, Claude will follow commands found in content even if it conflicts with the user's instructions. For example, instructions on webpages or contained in images may override user instructions or cause Claude to make mistakes. We suggest taking precautions to isolate Claude from sensitive data and actions to avoid risks related to prompt injection.
Finally, please inform end users of relevant risks and obtain their consent prior to enabling computer use in your own products.

(引用元) https://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo

ゲームの結果を分析すると、興味深い傾向が見られました。最初の問題「Amazon FSx」と 2 問目の「AWS Cloud9」については、Claude は効率的に対応し、それぞれ約 1 分という比較的短時間でアイコンを特定することができました。これらのアイコンには特徴的な文字が含まれていたことが、素早い識別を可能にした要因と考えられます。

しかしながら、3 問目の「Amazon Aurora」については状況が大きく異なりました。2 分 30 秒という長い時間をかけ、画面上の様々なアイコンを慎重に確認し、複数回の試行錯誤を繰り返しましたが、最終的にアイコンを見つけることができませんでした。

これらの観察結果は、AI の視覚認識システムにおける学習データの多様性と量の重要性を浮き彫りにしています。特定の分野や文脈に特化したアイコンやシンボルの認識精度を向上させるには、それらに関する十分な学習データの蓄積が必要かもしれません。

生成 AI による自動プレイの実験から、興味深い発見と課題が見えてきました。現時点では、ゲームの基本的な UI 要素の認識や文字情報を含むアイコンの識別、画面上のナビゲーションなどで予想以上の成果を上げていますが、状況判断のスピードが遅い場面が多く、複雑な判断や即時対応が必要な状況での信頼性にはまだ課題が残ります。

一方で、ゲームのチュートリアル自動化や UI/UX テスト、アクセシビリティ評価といった分野などリアルタイム性が求められないテストでの実用化の可能性は十分に感じられます。

適切な学習データの提供と継続的な改善により、これらの課題は徐々に解決できると考えられますが、現段階では完全な自動化というよりも、開発者やテスターの作業を支援する補助的なツールとしての活用が現実的な方向性だと思います。