Artificial Agency が、AWS と Llama により常時稼働型 AI ゲームプレイを実現

Artificial Agency は、ゲーム内のエージェンティック AI を実現するビヘイビアーエンジンを構築しています。このエンジンは、プレイヤーの意図を推論し、長時間のプレイセッションでも自然に応答できる知的なキャラクターやシステムを支えています。これを大規模に実現するには、数百万人の同時プレイヤーに対してリアルタイムで実行できる AI が必要です。この基準を満たすために、Artificial Agency は Meta Llama モデルや Amazon Web Services (AWS) を活用力し、大規模モデルの数分の一のサイズで高いパフォーマンスを実現する、ゲーム特化型の小規模モデルをファインチューニングしています。このアプローチにより、インフラストラクチャの負荷が軽減され、レイテンシーが低下し、ゲームスタジオには新たなクリエイティブな可能性が広がります。

ゲームの世界に知性をもたらす

ほとんどのゲームキャラクターは決められたパターンに沿って動きます。スクリプト、ビヘイビアツリー、有限の意思決定経路が用意されており、プレイヤーが何をするかを想定して慎重に設計されていますが、その範囲はデザイナーが予想したことに限られています。彼らには、プレイヤーの意図にリアルタイムで即興したり、適応させたり、自然に反応したりすることはできません。Artificial Agency は、そのギャップを埋めるために生まれました。当社は、ゲームにエージェンティック AI をもたらすビヘイビアーエンジンを開発しており、このエンジンは、インテリジェントな NPC、コンパニオン、動的システムを支えています。

「従来のシステムでは、スクリプト化されたインタラクションや定義済みの動作に制約されていました」と、Artificial Agency の共同創業者で機械学習の責任者である Alex Kearney 氏は述べています。「私たちが実現しているのは、より動的なものです。つまり、エージェントがプレイヤーの言うことだけでなく意図を理解し、意図に合った行動をとれるようにすることです」。ゲームディレクターシステムは、プレイヤーの行動に基づいて、その場で新たな遭遇を生成するかもしれません。プレイヤーが鉛筆を頼めば、キャラクターが机まで歩いて行き、鉛筆を拾って持ってくることもあります。仲間がプレイヤーの体力が低下しているのに気づけば、指示されなくても助けに入る場合もあります。

このシステムには、Unity、Unreal、その他のゲームエンジンに直接統合できるインエンジンツールと、エージェントの状態やメモリ、そしてキャラクターの理解が時間とともにどのように変化するかを管理するクラウドプラットフォームが備わっています。目標はシンプルだと Kearney 氏は説明します。「ゲームスタジオは、プレイヤーにとって自然に感じられる形で AI をゲームプレイに取り入れたいと思っていますが、そのために機械学習の専門家になることを望んでいません。私たちが構築しているのは、デベロッパーがそのような複雑さをすべて自分で扱わなくても、インテリジェントなキャラクターやシステムを作れるようにする仕組みです」。

ただし、これをライブゲームで実現するには、他の AI アプリケーションとは異なる制約が伴います。ゲームでは、長時間のプレイセッションにわたるリアルタイムのパフォーマンス、厳しいレイテンシー予算、すでに限界まで使われているハードウェア上で数百万人の同時プレイヤーをサポートできるインフラが必要です。

フロンティアモデルからゲーム特化型 AI まで

Artificial Agency のアプローチは、フロンティアスケールのモデルを起点に、ゲーム固有のデータを使って、各ゲームのニーズに合わせた小規模で特化型のモデルをトレーニングすることから始まります。「大規模モデルは驚くべきことを成し遂げられますが、同時に制約も伴います。ゲームで AI を常時稼働させたいのであれば、より小さく、より効率的で、その環境に最適化されたモデルが必要です」。700 億パラメータをもつモデルは、古代史から天体物理学、さらにケーキの焼き方も知っています。ゲームによっては、その一部が必要な場合もありますが、すべてが必要なわけではなく、それに伴うリソースコストも不要です。そのため、Artificial Agency は、70Bモデルのパフォーマンスを基準に、1B、3B、8Bの Liama モデルをファインチューニングしています。これらのオープンソースモデルは、カスタマイズ性、長期的な安定性、そしてクリエイティブな制作において極めて重要な所有権を提供します。スタジオのアートビジョンに基づいて構築されたモデルは、予期しないアップデートや、時間の経過とともにキャラクターの挙動を静かに変えてしまうモデルドリフトに悩まされることなく、そのままの状態を保つことができます。

このトレーニングの初期段階で、Artificial Agency は段階的なプロセスに従いました。まず監視付きファインチューニング (SFT) を行い、ベースモデルの信頼性を大幅に向上させました。続いて Group Relative Policy Optimization (GRPO) を用いた強化学習でループなどの初期モデル特有の挙動を改善しました。モデルは繰り返しやパターン固定に陥ることがあり、物語の進行を阻害していました。ガードレールを緩めた創発的ゲームプレイでは、こうした問題は没入感を損ないます。追加データセットで難しいシナリオを再現し、専用の評価スイートで現実的なゲーム環境における挙動を測定しました

。Artificial Agency のシニア機械学習エンジニアである Dhruv Mullick 氏は、「ファインチューニングを行った結果、信頼性が大幅に向上し、モデルがゲームシステム内で実行できるレベルに達しました」と述べています。

AWS は一貫して中心的なパートナーとして関わってきました。Artificial Agency は Amazon Elastic Compute Cloud (Amazon EC2) で Amazon SageMaker を活用し、大規模なトレーニング、評価、反復を行っています。また、チームは AWS 生成 AI イノベーションセンター (GenAIIC) とも連携しており、トレーニング戦略、モデル構成、大規模なトレーニング手法など、アドバイザリーサポートや概念実証のガイダンスを提供しています。AWS チームは Artificial Agency と直接協働し、報酬関数の改善、問題のデバッグ、イテレーションの高速化に取り組んでいます。「AWS は、私たちがこのプロセスを繰り返し改善していくうえで非常に強力なパートナーです」と Kearney 氏は言います。「さまざまなトレーニング手法の検証、行動評価方法の改善、そしてこれらのモデルをゲーム環境で動作させるための課題解決に取り組んできました」。AWS チームは、長い入力コンテキストを処理するためのシーケンス並列処理を含む分散トレーニングアーキテクチャや、トレーニングと推論の両方を支えるマルチ GPU セットアップも実装しました。

小規模モデルでも賢くできることを証明する

初期の結果では、ゲームコンテキストで最も重要となるマトリクスの多くで有意な進歩が見られました。概念実証では、監視付きファインチューニングにより、解析エラー率が約 78.7% から約 1% に減少しました。主要なゲームプレイシナリオの合格率は約 6% から約 51% に向上し、ループ挙動も約半分に削減されました。Mullick 氏が強調するように、これらの数値が意味を持つのは、それが実際に何を示しているかが重要だからです。「私たちは単に抽象的なベンチマークを測定しているわけではありません。実際のゲームプレイシナリオでモデルがどのように動作するかを評価しています。そこには、ループを回避できるかどうか、プレイヤー主導で生じる創発的ゲームプレイに適応できるかどうか、時間が経っても一貫性を維持できるかどうかといった要素が含まれます」。

内部テストでも、ファインチューニングされた小規模モデルが、ゲーム固有のパフォーマンスにおいて 70B のベースラインに大きく近づいていることが確認されました。言い換えると、1B モデルは 70 倍小さいにもかかわらず、適切なコンテキストに適したデータでトレーニングすることで、はるかに大きなモデルに匹敵するようなうなパフォーマンスを発揮し始めているということです。モデルが小さいほど、必要なインフラが減り、レイテンシーも低減し、コストがクリエイティブの制約となることなく、AI をより多くのゲームにデプロイできるようになります。さらに、Kearney 氏は次のように語っています。「10 億パラメータ規模のモデルであれば、コンシューマー向けハードウェアでも動作します。これは大きな変化です。なぜなら、すべてのインタラクションで大規模なインフラストラクチャに依存する必要がなくなるからです」。オンデバイス推論は、アーキテクチャ面、経済面、そしてクリエイティブ面において、大規模なモデルしか選択肢がない場合には実現できない方法で新しい可能性をもたらします。

取り組みは現在も進行中です。最終モデルトレーニングと質的なプレイテスト (ファインチューニングされたモデルと 70B のベースラインを比較する実際のプレイヤーによるライブプレイテストを含む) は、これから実施される予定です。「私たちは引き続きモデルを改良し、パフォーマンスの評価を続けています」と Kearney 氏は述べています。「しかし、初期の兆候は非常に有望です。リアルタイムで AI 主導のゲームプレイを大規模に実現できる方向へと進展が見られます」。次世代のゲームキャラクターは、単に自分のセリフを知っているだけではありません。場面そのものを理解するようになるのです。

大規模なモデルのトレーニングとデプロイを始める準備はできていますか?Amazon SageMaker と Amazon EC2 を活用すれば、最も要求の厳しいリアルタイム環境でも、AI ワークロードの構築、反復、運用できます。