本稿は、株式会社日本取引所グループ（以下「JPX」）傘下の株式会社東京証券取引所（以下「東証」）による「膨大な取引データの処理 – AWS 活用で実現した次世代データ分析基盤」について、インフラ開発をリードされた齋藤 尚樹様に寄稿いただきました。

イントロダクション

東証は、株式売買システム arrowhead4.0 の稼働に伴い、膨大な注文や約定等の取引データに係るトランザクションを効率的に蓄積・分析するための新しいデータ分析基盤を構築しました。
arrowhead は、東証及び富士通が開発してきた世界最高水準の高速性・信頼性・拡張性を兼ね備えた株式売買システムで、2010 年の初代システムから進化を続け、2024 年 11 月 5 日には、市場利用者の利便性や国際競争力、レジリエンスをさらに高めることを目的とした arrowhead 4.0 が稼働しました。
近年、活況なマーケットや取引処理の高速化にともない、1 日に数億件という膨大なトランザクションを安定的に処理するキャパシティが求められると同時に、ピーク時には 1 秒間に 10 万件を超える高いスループットでデータが発生し続けるため、遅延なくリアルタイムでデータ処理できる性能も、データ分析基盤に求められます。

図：arrowheadの1日注文処理件数の推移（億件/日）

従来のデータ分析基盤では、こうした両面の要件を同時に満たすことが難しく、スケーラビリティや処理性能に限界がありました。こうした課題を解決するため、東証は AWS のクラウド技術を活用し、システムリソースやトランザクションログを蓄積・分析する高性能かつ柔軟なデータ分析基盤を AWS 上に整備しました。

背景と課題

近年、取引データの発生件数増加に伴い、arrowhead では日々数億件規模のデータが生成・蓄積され、それらの大量データが分析対象となっています。従来のデータ分析基盤では Excel VBA や個別開発したツール等を駆使していましたが、膨大なデータを扱うには非効率的であり 、半日以上に及ぶデータ抽出・集計処理が端末を占有するなど、日々の解析処理やレポート作成に多大な時間と労力を要していました。また、オンプレミス環境ではサーバ増設やストレージ拡張に時間がかかり、急速な市場変化や突発的な取引量の増加に柔軟に対応することが困難でした。さらに、システム全体の安定運用や障害発生時の迅速な原因特定、キャパシティ計画の高度化といった運用面での課題にも対応する必要がありました。

ソリューション概要

上記課題の解決に向けて AWS の各サービスをどのように活用したかについて、下図のアーキテクチャ図と共に解説します。

オンプレミス領域から AWS へのデータ連携においては、特にリアルタイム性と大規模データ処理能力が重視されます。arrowhead で1秒間に数万件単位で発生する各種電文ログやリソース監視データは、オンプレミス環境のサーバ上に集約されます。これらのデータは、サーバ上で稼働する Amazon Kinesis Agent によって取得され、AWS Direct Connect や AWS Transit Gateway などの専用線ネットワークを経由して、安全かつ高速に AWS クラウド環境へ転送されます。その後、Amazon Data Firehose を用いてリアルタイムで AWS 環境に連携されたのち Amazon S3 に蓄積され、AWS Lambda による ETL 処理を経て Amazon Redshift に格納されます。この一連の処理を通じて、多種多様な膨大なデータを、セキュアかつ遅滞なく連携することを可能にしました。
このリアルタイム連携の主な対象となるのが「電文ログ」と「リソース監視データ」です。電文ログは、業務観点での分析や障害発生時のトラブルシューティングなど多岐にわたる用途で活用されます。また、リソース監視データは、CPU やメモリ、ネットワーク帯域、ディスク I/O など各種リソースの監視やボトルネック分析、将来的なキャパシティ拡張計画の根拠データとして利用されています。
Amazon Redshift は数億件規模のデータを高速かつ並列に処理することができ、ピーク時の高スループットにも耐えうるスケーラビリティを実現しています。これにより、電文ログやリソース監視データの大量集計・分析が短時間で可能となり、システム部門はリアルタイムに近い形で状況把握や性能解析を実施できます。
また、Amazon Redshift 上での分析結果は、ダッシュボードやレポートとして可視化され、JPX グループ全役職員が常時閲覧可能なかたちで展開されるとともに、異常検知や将来的なキャパシティ計画の根拠データとしても活用されています。例えば、過去の取引量やリソース使用状況の推移をもとに、将来的なシステム増強のタイミングや必要スペックを予測したり、障害発生時のリソース逼迫状況を迅速に特定することが可能となりました。

導入効果

AWS 上にデータ分析基盤を構築することによって、従来の手法では数時間要していたデータ分析処理が、Amazon Redshift を中心とした並列処理や AWS Lambda や AWS Step Functions による自動化により数分で完了するようになりました。これにより、運用担当者は日々の業務負荷を大幅に軽減し、より高度な分析や障害対応、改善活動にリソースを集中できるようになりました。また、AWS を使用することにより、必要なリソースをオンデマンドで追加できるため、突発的な取引データの増加や新たな分析ニーズにも柔軟に対応できるようになっています。さらに、性能監視やキャパシティ計画を自動化することで、システムの安定性と信頼性が向上し、障害発生時の影響範囲の特定や復旧対応の迅速化にも寄与しています。

今後の展望

今後、さらなる取引データの増加に対しても、安定した市場運営を継続するのはもとより、AI などによる異常検知や予測など、分析基盤としての一層の強化を AWS を活用して進めていく予定です。

執筆者