バンダイナムコオンラインは、オンラインゲーム事業に特化して開発・運営からパブリッシングまでを一手に担うバンダイナムコグループ企業です。得意分野は、シューターやアクション、マルチプレイヤーゲームの開発です。バンダイナムコグループが得意とする キャラクター等の知的財産(IP)軸戦略の起点となる、オリジナル IP 創出にも力を入れています。「日本発オンラインゲームを、世界へ」というスローガンを掲げ、キャラクターの魅力を最大限に引き出したビジュアルや世界観といった「日本らしさ」にこだわったオンラインゲームを提供しています。

「BLUE PROTOCOL」は、バンダイナムコオンラインとバンダイナムコスタジオによる共同プロジェクトチーム「PROJECT SKY BLUE」の中核を成すオリジナルコンテンツとして開発されたオンラインアクション RPG です。圧倒的グラフィック表現で紡がれる世界と、オンラインによる共闘を軸とするマルチプレイアクションを突き詰めたゲーム性とを融合させた、完全新作のオリジナルタイトルです。

プロトタイプに 3 年、開発に 5 年をかけたという本作は、バンダイナムコグループにおいても特に規模の大きなプロジェクトとなっています。グローバルでの展開も見据えており、リリース時には 十数万人以上もの同時接続者数を見込んでいました。

「本作は、アクション RPG を専用ゲームサーバー上で動かすという、バンダイナムコオンラインとして大きなチャレンジでした。将来的には、プレイヤー数が数十万人規模にまで増える可能性があるため、それに耐え得る可用性やスケーラビリティの高いアーキテクチャを構築する必要があります。しかし、インスタンスを大量に立てると、インフラのコストが増大します。いかにして、これらのバランスをとるのかが課題になっていました」と語るのは、開発本部システム部 ゼネラルマネージャーの太田薫氏です。

AWS とともにアーキテクチャを検討した結果、本プロジェクトにおいては AWS Graviton プロセッサ搭載の Amazon EC2 インスタンスを採用する方針としました。

AWS Graviton は Amazon EC2 で実行されるワークロードに最高のコストパフォーマンスを提供するように設計されたプロセッサーファミリーです。同等の x86 ベースの Amazon EC2 インスタンスと比較して、コストを最大で 20% 程度抑えられます。スケーラビリティとコスト最適化の両立が求められる本プロジェクトに適していました。

「 2021 年当時、すでに Intel プロセッサを搭載した Amazon EC2 インスタンスでアーキテクチャを組んでいましたが、AWS Graviton を搭載した Amazon EC2 インスタンスでもゲームが問題なく動くか確認しました。使用しているライブラリのバージョンアップが必要になった程度で、AWS Graviton の導入にあたっての障壁はありませんでした」とシステム部 インフラエンジニアの斧木将貴氏は話します。

また、さらなるコスト最適化のために、「BLUE PROTOCOL」の特定サーバーではスポットインスタンスも活用しました。これは、Amazon EC2 の空きキャパシティを活用することで大幅な割引価格で Amazon EC2 インスタンスを利用できる購入オプションです。

スポットインスタンスには大幅な割引を受けられるというメリットがある一方で、任意のタイミングで中断される可能性があるという特徴を持っています。今回、ステートフルな専用ゲームサーバーにあえてスポットインスタンスを採用するというチャレンジを行いました。大型のマルチプレイゲームを長期にわたり運用することを考慮するとスポットインスタンス活用によるコスト削減は重要な取り組みとなるためです。当然、スポットインスタンスの中断がプレイヤー体験に与える影響を極小化する工夫は必要で「BLUE PROTOCOL」では、スポットインスタンスの中断が予告されると同一インスタンスへの追加入場が行えなくなり、さらにインスタンス内のプレイヤーには別の空間への移動を促す告知が行われるなど、スポットインスタンスの特徴をうまくカバーしたゲーム仕様になっています。また、「途中で中断されてはならないダンジョンはオンデマンドインスタンスで動かすなど、スポットインスタンスとの適切な使い分けをしています」と太田氏は解説します。

「また、『BLUE PROTOCOL』では専用ゲームサーバーや API サーバーなど各種サーバーを Amazon Elastic Kubernetes Service（Amazon EKS）上に展開しています。そして、複数の CPU アーキテクチャで動作するように、マルチアーキテクチャのコンテナイメージを作成しました。Intel プロセッサと AWS Graviton プロセッサのどちらであっても、問題なく動作するコンテナ環境になっています。こうすることで、AWS Graviton のコストパフォーマンスを享受すると同時に、コンテナを展開できるインスタンスタイプの選択肢を多くしてスポットインスタンスを確保しやすくしています」と開発本部 システム部シニアエンジニアの高橋利明氏は語ります。

そして、Kubernetes ノードのスケーリングには Kubernetes Cluster Autoscaler ではなく AWS がオープンソースとして提供しているノードライフサイクルマネージャーである Karpenter を採用しています。選定理由として「Kubernetes Cluster Autoscaler より高速なスケーリングを実現できること、オートスケーリングに関する設定・運用が容易であること」を斧木氏は挙げており、プレイヤーの急増が起こり得るオンラインゲームという領域と、Karpenter との親和性の高さが伺えます。

また、Kubernetes ポッドについては、ゲームの同時接続者数に応じてスケールする仕組みを構築しています。

「BLUE PROTOCOL」は、リリース直後から多くの人々の注目を集めました。最大の同時接続者数は 20 万人を超えました。これはバンダイナムコオンラインが見込んでいた以上のプレイヤーがサービスを利用したことになります。しかし、大規模の同時接続に耐えられるようにアーキテクチャを構築していたことから、サービス停止などは発生せず無事に大量トラフィックを処理することができました。2024 年 1 月時点で累計プレイヤー数は 100 万人を突破しています。

「スポットインスタンスと Graviton インスタンスの活用により、コストを約 32 ％削減することができました。期待通りのコスト削減につながっています」（太田氏）

今後、システム面では Kubernetes クラスターのオートスケーリングを最適化するといった施策により、さらなるコスト削減を目指しています。また、現在は既存の Redis のクラスターをサーバーレスタイプの「Amazon ElastiCache Serveless」に移行し、運用工数の削減とコスト最適化することも視野に入れているといいます。

さらなるサービス展開や機能改善に取り組む「BLUE PROTOCOL」。その裏側を支えるアーキテクチャも日々の刷新を続けています。よりよいゲーム体験の提供のため、インフラ環境の最適化は、これからも続きます。