纳斯达克使用 AWS 率先在云中存储股票交易所数据

2020

纳斯达克是一家跨国金融服务和技术公司,拥有并运营纳斯达克股票交易所。纳斯达克总共运营 27 个市场、一家中央证券存管机构和清算所,涵盖北美和欧洲的各种资产类别。全球近 4000 家公司在纳斯达克市场挂牌上市,同时纳斯达克也向 50 个国家/地区的其他市场基础设施运营商提供任务关键型技术。

纳斯达克股票交易所是全球交易量最大的股权特许经营商,其管理高数量和高速度的买家和卖家匹配,同时在以电子方式进行的贸易中提供支持股票报价的数据。纳斯达克依赖一个内部应用程序来捕获和存储所有受保护的交易所数据。纳斯达克软件工程部副总裁 Robert Hunt 说到,“这些数据包括订单、报价、交易和取消。”每晚到第二天早上开市之前,纳斯达克接收数十亿条需要加载用于计费和报告流程的记录。

由于自动化交易平台涌入市场,交易速度和交易量持续增长。2014 年,为了扩大规模、提高性能并降低运营成本,纳斯达克从旧式本地部署数据仓库迁移到由 Amazon Redshift 集群赋能的 Amazon Web Services (AWS) 数据仓库。2014 年至 2018 年,随着公司扩展解决方案以支持其所有北美市场,该 Amazon Redshift 集群增至 70 个节点。截止 2018 年,该解决方案每晚从数千个源摄入金融市场数据,记录数量介于 300 亿到 550 亿条,大小超过 4 TB。

随着时间的推移,数据增长促使管理这些分析数据的方案发生转变。针对仓库运行的通宵批处理在处理大量数据以满足严格的截止日期方面造成了挑战。用户依靠这些数据来完成计费、报告和监督。Hunt 说到,“在 2018 年早期市场波动增加时,仓库数据量持续增加,在 2018 年高峰时达到每天约 550 亿条记录。”

越来越多的精妙交易实践导致数据大量增加,至关重要的是,纳斯达克开始规划开发新架构以持续实现生态系统期望的性能标准和卓越运营。Hunt 说到,“从收市到第二天早上,我们必须在这段时间内加载和使用 300 亿条记录。数据加载延迟了报告的交付。”“我们需要能够非常快速地将数据写入或加载到数据存储解决方案中,同时又不干扰对数据的读取和查询。”

纳斯达克将其日益增长的数据仓库迁移到更现代化的数据湖架构中 (2:25)
kr_quotemark

凭借 Simple Storage Service (Amazon S3) 和 Amazon Redshift 的灵活度和可扩展性,我们每天能够处理的记录数量可以轻松地从 300 亿条跃升至 700 亿条。”

Robert Hunt
纳斯达克软件工程部副总裁

使用 AWS 服务实现灵活性、可扩展性和高性能

2018 年,纳斯达克选择在 Amazon Simple Storage Service (Amazon S3) 上构建新数据湖的基础,这使该公司能够将计算和存储分开,并独立扩展每项功能。在传统的数据仓库部署中,扩缩存储容量往往需要公司同时扩展计算容量,因为应用程序和存储紧密联系在一起,对两者的比率进行任何更改都需要在现场进行硬件修改。Hunt 说到,“除了计算和存储分离带来的灵活度外,Simple Storage Service (Amazon S3) 在同时写入和读取大型数据集方面也具有更好的扩缩特性。”“Simple Storage Service (Amazon S3) 为我们提供的解决方案实现了数据加载和查询流程之间无任何冲突。”

通过集成 AWS Identity and Access Management (AWS IAM) 策略、Simple Storage Service (Amazon S3) 还可在多个 AWS 账户间提供全面的访问控制功能。此外,纳斯达克使用 Simple Storage Service (Amazon S3) 来存储关键的金融数据,并将其移至 Amazon S3 Glacier,从而能够以较低的成本进行归档。该公司依赖 Simple Storage Service (Amazon S3) 对象锁定功能进一步增强合规性。
 
在 2019 年 1 月,纳斯达克参加了 AWS Data Lab,携手提供规范性架构指南的 AWS 解决方案构架师和分析服务专家重新思考纳斯达克如何实施数据仓库。在为期四天的实验中,纳斯达克使用 Amazon Redshift 作为计算层,重新设计了其提供分析的方式。因此,纳斯达克开始使用 Amazon Redshift Spectrum,这是一项赋能智能湖仓架构的功能,可以查询数据仓库和 Simple Storage Service (Amazon S3) 数据湖中的数据。Hunt 说到,“我们将把来自内部运营的交易所的所有数据都放到 Simple Storage Service (Amazon S3) 和 Amazon Redshift Spectrum 中。”“其中包括订单、取消、报价和交易。这些转变为消息并在 Simple Storage Service (Amazon S3) 中归档,这些消息推动下游计费和报告监督流程。”
 
新的数据湖在 Simple Storage Service (Amazon S3) 上包含 15 TB 的数据,无需在将数据写入 Simple Storage Service (Amazon S3) 后立即加载数据即可随时查询。如此一来,洞察生成时间缩至最短,赋能斯达克经济研究团队进行数据分析并对数据运行复杂的查询。此外,该公司的监督业务团队在收到美国证券交易委员会 (SEC) 的询问后,将对数据湖进行查询。

起初是以性能为重点的解决方案,现在变成了团队间共享的多用途数据湖,从而为业务创造额外效益。

扩缩到支持每天 700 亿条记录

随着计算和存储的独立扩缩,纳斯达克现在可以灵活运用其计算层来支持交易量,在 Simple Storage Service (Amazon S3) 存储上构建的数据湖可以轻松支持数量和复杂性持续增加的数据。例如,在 2020 年 2 月 COVID-19 疫情开始时,市场波动达到高峰,该解决方案扩展到支持每天摄入 700 亿条记录,其中峰值量达到 1130 亿条。
 
Hunt 说到,“凭借 Simple Storage Service (Amazon S3) 和 Amazon Redshift 的灵活度和可扩展性,我们每天能够处理的记录数量可以轻松地从 300 亿条跃升至 700 亿条。”“我们能够跟上数据量激增的速度,并建立了必要的计费、报告和监督流程,以支持我们对市场的义务。” 此外,纳斯达克还可以轻松快速地缩减其环境规模,以确保当市场再次调整时不会出现闲置容量。

为报告加载市场数据的速度加快了 5 小时

借助基于 Simple Storage Service (Amazon S3) 和 Amazon Redshift 的新型智能湖仓架构,纳斯达克比以前提前 5 小时达到 90% 的数据加载完成率。此外,通过优化其数据仓库,该公司运行 Amazon Redshift 查询的速度加快了 32%。Hunt 说到,“这些改进帮助我们加快了计费和报告流程。”“例如,我们在收市后的一两个小时内就完成了数据摄入,让我们在计费和报告方面有了先发优势。在我们应对最近发生的峰值量时,这为我们提供了巨大的帮助,其还帮助我们兑现或超越对内部客户承诺的期限。”
 
随着时间的推移,Simple Storage Service (Amazon S3) 和 Amazon Redshift 数据湖已赋能纳斯达克转型。Hunt 说到,“我们可以自由地专注于我们的行业专业知识,助力纳斯达克创新,同时依靠 AWS 提供云专业知识。”“展望未来,我们将继续根据市场需求来利用新的 AWS 服务和技术。”

纳斯达克简介

纳斯达克是一家跨国金融服务公司,成立于 1971 年,总部位于纽约市,拥有并运营纳斯达克股票市场和八家欧洲股票交易所。全球 50 个国家/地区近 4000 家公司在这里挂牌上市。

AWS 的优势

  • 每天摄入 700 亿条记录
  • 加载金融市场数据的速度加快了 5 小时
  • 运行 Amazon Redshift 查询的速度加快了 32%
  • 通过共享数据赋能业务转型
  • 通过其他使用案例激励创新


使用的 AWS 服务

Amazon Simple Storage Service

Amazon Simple Storage Service (Amazon S3) 是一种对象存储服务,提供行业领先的可扩展性、数据可用性、安全性和性能。

了解更多 »

Amazon Redshift

Amazon Redshift 为您提供最好的高性能数据仓库,具有无限的数据湖存储灵活度和可扩展性。

了解更多 »

AWS Identity and Access Management

AWS Identity and Access Management (IAM) 使您能够安全地管理对 AWS 服务和资源的访问。

了解更多 »

Amazon S3 Glacier

Amazon S3 Glacier 和 S3 Glacier Deep Archive 是安全、持久且成本极低的 Simple Storage Service (Amazon S3) 云存储类,适用于数据归档和长期备份。

了解详情 »

更多纳斯达克故事

未找到任何项目 

1

开始使用

无论行业无论规模,每天都有各种机构在使用 AWS 实现自身业务转型、实现企业愿景。欢迎您联系我们的专家,立即踏上您的 AWS 之旅。