Nasdaq、AWS を利用して証券取引所のデータストレージをクラウド上に開拓

Nasdaq は多国籍金融サービスとテクノロジーを提供する企業で、Nasdaq 証券取引所を所有および運営しています。同社は北米とヨーロッパのさまざまなアセットクラスを対象に、合計 27 の市場、中央証券保管機関、および清算機関を運営しています。市場全体で世界中に 4,000 近くの上場企業があり、50 か国にある他の市場インフラストラクチャ事業者にミッションクリティカルなテクノロジーを提供しています。

Nasdaq 証券取引所は、取引量で世界最大の株式フランチャイズであり、電子的に入力された取引で株式の価格見積もりを提供するデータを提供しながら、大量かつ高速で買い手と売り手のマッチングを管理しています。Nasdaq では、保護されたすべての取引データをキャプチャおよび保存するのに内部アプリケーションを使用しています。「これらのデータには、注文、見積もり、取引、キャンセルが含まれています」と、Nasdaq のソフトウェアエンジニアリング部門バイスプレジデント、Robert Hunt 氏は語っています。Nasdaq は毎晩、市場が翌朝オープンする前に、請求およびレポートプロセスにロードする必要のある数十億のレコードを受け取っています。

自動取引プラットフォームが市場に参入するにつれて、取引のペースと量が増加しました。2014 年、規模とパフォーマンスを拡大して運用コストを削減するため、同社は従来のオンプレミスデータウェアハウスから、Amazon Redshift クラスターを使用したアマゾン ウェブ サービス (AWS) データウェアハウスに移行しました。2014 年から 2018 年の間に、北米全土の市場をサポートするためにソリューションを拡張するにつれて、この Amazon Redshift クラスターは 70 ノードにまで拡大していきました。2018 年までに、このソリューションは、毎晩 300 億から 550 億レコードの範囲で、4 テラバイトを超える数千のソースから金融市場データを取り込みました。

時間の経過とともにデータが増加したことで、分析のためにそのデータを管理するためのアプローチが変化しました。ウェアハウスに対して実行される夜間のバッチ処理では、厳しい期限に合わせて膨大な量を処理することが難しくなりました。ユーザーはこのデータを利用して、請求、レポート、調査を行います。「2018 年の初めに市場の変動性が高まったとき、ウェアハウスのデータ量は大幅に増加し、2018 年には 1 日あたり約 550 億レコードでピークに達しました」と Hunt 氏は言います。

より洗練された取引慣行はデータの大幅な増加につながり、Nasdaq がエコシステムが期待するパフォーマンス基準と運用上の卓越性を達成し続けるために新しいアーキテクチャを進化させる計画を開始することが重要でした。「市場が終了してから翌朝までの間に、300 億件のレコードをロードして処理する必要があります。データのロードにより、レポートの配信に遅れが出ました」と Hunt 氏は言います。「データの読み取りと照会を同時に妨げることなく、データストレージソリューションへのデータの書き込みまたはロードをきわめて高速に行う能力が必要でした」。

2018 年、Nasdaq は、Amazon Simple Storage Service (Amazon S3) に新しいデータレイクの基盤を構築することを選択しました。これにより、コンピューティングとストレージを分離して、各機能のスケーリングを別々に行うことが可能になりました。従来のデータウェアハウスのデプロイでは、アプリケーションとストレージが緊密にリンクされており、両社の比率を変更するにはオンサイトのハードウェアを変更する必要がありました。このため、ストレージ容量をスケーリングするには、多くの場合、コンピューティング性能も同時にスケーリングする必要がありました。「コンピューティングとストレージの分離に必要な柔軟性に加えて、Amazon S3 は大きなデータセットの書き込みと読み取りを同時に実行できるという点で、より優れたスケーリング特性を備えています」と Hunt 氏は言います。「Amazon S3 は、データのロードとクエリのプロセス間の競合をゼロにするソリューションを提供してくれました」。

このソリューションはパフォーマンス重視で始まったものでしたが、それが多目的データレイクとなってチーム間で共有され、ビジネスにさらなるメリットをもたらしています。