nasdaq-200x70

Nasdaq、AWS を使用して証券取引所のデータストレージをクラウド上に開拓

2020 年

Nasdaq は多国籍金融サービスとテクノロジーを提供する企業で、Nasdaq 証券取引所を所有および運営しています。同社は北米とヨーロッパのさまざまなアセットクラスを対象に、合計 27 の市場、中央証券保管機関、および清算機関を運営しています。Nasdaq には世界中の対象市場から 4,000 社近くが上場しており、50 か国にある他の市場インフラ事業者にミッションクリティカルなテクノロジーを提供しています。

Nasdaq 証券取引所は、世界最大の取引高を扱う株式フランチャイズで、電子取引で株価の見積もりに使用されるデータを提供しながら、大量の取引を高速で処理し、買い手と売り手のマッチングを管理します。Nasdaq では、保護されたすべての取引データをキャプチャおよび保存するのに内部アプリケーションを使用しています。「これらのデータには、注文、見積もり、取引、キャンセルが含まれています」と、Nasdaq のソフトウェアエンジニアリング部門バイスプレジデント、Robert Hunt 氏は語っています。Nasdaq では毎晩、市場が翌朝開く前に、請求やレポートの処理にロードする必要のある数十億件のレコードを受け取ります。

自動取引プラットフォームが市場に参入したことを受け、取引のペースと量が増加しました。2014 年、規模とパフォーマンスを拡大して運用コストを削減するため、同社は従来のオンプレミスデータウェアハウスから、Amazon Redshift クラスターを使用したアマゾン ウェブ サービス (AWS) データウェアハウスに移行しました。2014 年から 2018 年の間に、北米全土の市場をサポートするためにソリューションを拡張するにつれて、この Amazon Redshift クラスターは 70 ノードにまで拡大していきました。このソリューションには 2018 年までに、300 億から 550 億レコードの範囲で 4 テラバイトを超える金融市場データが数千のソースから毎晩取り込まれました。

時間の経過とともにデータが増加すると、そのデータを分析するための管理方法も変化していきました。ウェアハウスに対して実行される夜間のバッチ処理では、厳しい期限に合わせて膨大な量を処理することが難しくなりました。ユーザーはこのデータを利用して、請求、レポート、調査を行います。「2018 年の初めに市場変動が大きくなると、ウェアハウスのデータ量が大幅に増加し、2018 年には 1 日あたりのピーク量が約 550 億レコードに達しました」と Hunt 氏は述べています。

洗練された取引形態ほどデータの大幅な増加につながるため、エコシステムが期待するようなパフォーマンス基準とオペレーショナルエクセレンスを Nasdaq が達成し続けるには、新しいアーキテクチャを展開する計画を開始することが重要でした。「市場が終了してから翌朝までの間に、300 億件のレコードをロードして処理する必要があります。データのロードにより、レポートの配信に遅れが出ました」と Hunt 氏は言います。「データの読み取りと照会を同時に妨げることなく、データストレージソリューションへのデータの書き込みまたはロードをきわめて高速に行う能力が必要でした」。

Nasdaq、拡大するデータウェアハウスを最新のデータレイクアーキテクチャに移行 (2:25)
kr_quotemark

Amazon S3 と Amazon Redshift の柔軟性と拡張性のおかげで、1 日あたり 300 億レコードから 700 億レコードへの急増も簡単にサポートすることができました。"

Nasdaq ソフトウェアエンジニアリング部門バイスプレジデント
Robert Hunt 氏

AWS サービスを使用して柔軟性、スケーラビリティ、パフォーマンスを向上

2018 年、Nasdaq は、Amazon Simple Storage Service (Amazon S3) に新しいデータレイクの基盤を構築することを選択しました。これにより、コンピューティングとストレージを分離して、各機能のスケーリングを別々に行うことが可能になりました。従来のデータウェアハウスのデプロイでは、アプリケーションとストレージが緊密にリンクされており、両社の比率を変更するにはオンサイトのハードウェアを変更する必要がありました。このため、ストレージ容量をスケーリングするには、多くの場合、コンピューティング性能も同時にスケーリングする必要がありました。「コンピューティングとストレージの分離に必要な柔軟性に加えて、Amazon S3 は大きなデータセットの書き込みと読み取りを同時に実行できるという点で、より優れたスケーリング特性を備えています」と Hunt 氏は言います。「Amazon S3 は、データのロードと照会のプロセス間で競合をゼロにするソリューションを提供してくれました」。

Amazon S3 では、 AWS Identity and Access Management (AWS IAM) ポリシーを統合することにより、複数の AWS アカウントにわたる包括的なアクセス制御も可能になります。さらに Nasdaq では、Amazon S3 を使用して重要な金融データを保存し、低コストでのアーカイブ化が可能な Amazon S3 Glacier に移行しています。同社は、Amazon S3 Object Lock 機能を利用して、コンプライアンスをさらに強化しています。
 
2019 年 1 月、Nasdaq は AWS データラボに参加しました。ここで、Nasdaq のデータウェアハウジングの実装方法を再考するため、AWS ソリューションアーキテクトや分析サービスのエキスパートから規範的なアーキテクチャガイダンスを受けました。4 日間のラボで Nasdaq は、Amazon Redshift をコンピューティングレイヤーとして使用することにより、分析を提供する方法を再編成しました。結果として、 Amazon Redshift Spectrum の使用を開始することになりました。これは、レイクハウスアーキテクチャを強化して、データウェアハウスと Amazon S3 データレイクの両方でデータを照会する機能です。「当社で運営している取引所からのデータをすべて、Amazon S3 と Amazon Redshift Spectrum に送っています」と Hunt 氏は語っています。「これらのデータには、注文、キャンセル、見積もり、取引が含まれます。これらがメッセージに変換され、Amazon S3 でアーカイブ化されます。これらのメッセージによって、下流での請求および調査レポートの処理が行われます」。
 
新しいデータレイクには、Amazon S3 上にある 15 テラバイトのデータが含まれています。このデータは、Amazon S3 に書き込まれると、ロードすることなく Nasdaq がその場ですぐに照会できるようになります。これにより、調査までの時間が最小限に抑えられ、Nasdaq の経済調査チームがデータ分析を実行し、データに対して複雑なクエリを実行できます。さらに、同社のビジネス調査チームは、米国証券取引委員会 (SEC) からの問い合わせを受けた後、データレイクに照会します。

このソリューションはパフォーマンス重視で始まったものでしたが、それが多目的データレイクとなってチーム間で共有され、ビジネスにさらなるメリットをもたらしています。

1 日に 700 億レコードをサポートするためのスケーリング

コンピューティングとストレージのスケーリングを別々に行うことで、Nasdaq はコンピューティングレイヤーを変更してトランザクションのボリュームをサポートできるようになりました。Amazon S3 ストレージ上に構築したデータレイクでは、データのボリュームと複雑さが増し続けても、簡単にサポートできます。例えば、2020 年 2 月下旬の COVID-19 パンデミックが広まった際に市場のボラティリティが急上昇しましたが、このときソリューションは 1 日あたり 700 億レコードの取り込みをサポートできるように拡張され、ピークボリュームは 1,130 億件になりました。
 
「Amazon S3 と Amazon Redshift の柔軟性と拡張性のおかげで、1 日あたり 300 億レコードから 700 億レコードへの急増を簡単にサポートすることができました」と Hunt 氏は述べています。「私たちはデータ量の急増に対応して、市場への義務を果たすために必要な請求、報告、調査の処理を行いました」。 市場が再び落ち着いたときには、容量の無駄がないように、簡単かつ迅速に環境を縮小することもできます。

レポート用市場データのロードを 5 時間短縮

Amazon S3 と Amazon Redshift に基づく新しいレイクハウスアーキテクチャを使用すると、Nasdaq は以前より 5 時間早く、データロードの 90% を終えることができます。さらに、データウェアハウスを最適化することで、Amazon Redshift の照会を 32% 早く実行できました。「これらの改善により、請求とレポートの処理が加速しました」と Hunt 氏は言います。「例えば、市場の終了後 1〜2 時間以内にデータの取り込みが完了するため、請求とレポート作成をどこよりも早く開始できます。これは、先ほど説明したボリュームの急増に対処するときに大いに役立ちます。また、社内顧客の期限またはそれまでに間に合わせるためにも好都合です」。
 
Amazon S3 と Amazon Redshift のデータレイクによって、徐々に Nasdaq での変革が可能となっていきました。「クラウドの専門技術については AWS に任せて、私たちは安心してこの業界の専門性に集中し、Nasdaq の革新に努めることができます」と Hunt 氏は言います。「今後も、市場の要求に応じて、新しい AWS サービスとテクノロジーの活用を続けていきます」。

Nasdaq について

Nasdaq は 1971 年設立のニューヨーク市に本社を置く多国籍金融サービス企業で、Nasdaq 株式市場と 8 つのヨーロッパ証券取引所を所有および運営しています。同社の傘下では、50 か国にある 4,000 近くの企業が上場しています。

AWS のメリット

  • 1 日あたり 700 億件のレコードを取り込み
  • 金融市場データのロードを 5 時間短縮
  • Amazon Redshift の照会を 32% 速く実行
  • 共有データでビジネス変革を実現
  • 追加のユースケースでイノベーションを加速


利用している AWS のサービス

Amazon Simple Storage Service

Amazon Simple Storage Service (Amazon S3) は、業界をリードするスケーラビリティ、データ可用性、セキュリティ、およびパフォーマンスを提供するオブジェクトストレージサービスです。

詳細はこちら »

Amazon Redshift

Amazon Redshift を使用することで、データレイクストレージの無制限の柔軟性とスケーラビリティを備えた、最高性能のデータウェアハウスを手にすることが可能です。

詳細はこちら »

AWS Identity and Access Management

AWS Identity and Access Management (IAM) では、AWS のサービスやリソースへのアクセスを安全に管理できます。

詳細はこちら »

Amazon S3 Glacier

Amazon S3 Glacier と S3 Glacier Deep Archive は、安全性と耐久性に優れた、きわめて低コストの Amazon S3 クラウドストレージクラスです。データのアーカイブ化や長期バックアップに適しています。

詳細はこちら »


始めましょう

あらゆる業界のさまざまな規模の企業が、AWS を活用してビジネスを日々変革しています。AWS エキスパートにお問い合わせください。今すぐ AWS クラウドの導入を開始しましょう。