Nasdaq 率先將 AWS 運用在雲端證券交易所資料儲存

2020 年

Nasdaq 是一家擁有和經營那斯達克股票交易所的跨國金融服務技術公司。Nasdaq 一共拓展了 27 個市場、1 個證券集中保管處和票據交換所,其範圍遍布北美和歐洲的各種資產類別中。它在全球市場擁有近 4,000 間上市公司,並針對位於 50 個國家/地區的其他市場基礎設施營運商提供其任務關鍵型技術。

Nasdaq Stock Exchange 是全球交易量最大的股票特許經營機構,它以高交易量和高速度管理買賣雙方的匹配,同時為電子輸入交易中的股票報價提供資料。Nasdaq 倚賴內部應用程式,擷取和存放所有受保護的交易資料。Nasdaq 軟體工程副總裁的 Robert Hunt 表示:「這些資料包含訂單、報價、交易以及取消。」每晚納斯達克都會收到數十億條記錄,需要在第二天早上開市前載入這些記錄,以進行計費和報告程序。

隨著自動交易平台進入市場,交易速度和交易量都在增長。在 2014 年,為了擴展規模和提高效能並降低營運成本,Nasdaq 從舊式內部部署資料倉儲轉移至由 Amazon Redshift 叢集支援的 Amazon Web Services (AWS) 資料倉儲。在 2014 年至 2018 年之間,隨著該公司擴展解決方案支援所有北美市場,Amazon Redshift 叢集增長到 70 個節點。到 2018 年,該解決方案每晚從數千個來源擷取金融市場資料,記錄範圍從 300 億到 550 億條,超過 4 TB。

隨著時間的推移,資料的增長導致管理該資料以進行分析的方法發生了變化。倉儲的每晚批次處理在處理大量資料以滿足嚴格截止日期方面,帶來了一大挑戰。使用者倚賴資料來完成計費、報告和監控。「當 2018 年初市場波動加劇時,倉儲的資料量大幅增長,在 2018 年達到每天約 550 億條記錄的峰值,」Hunt 說道。

更複雜的交易實務導致資料大幅增長,Nasdaq 開始計劃發展新架構,以繼續實現生態系統所期望的效能標準和卓越運營,這一點至關重要。Hunt 表示:「我們必須在市場關閉至次日早晨期間,同時載入和處理 300 億條記錄。資料載入的延遲會影響到交付報告的時間。」「我們需要快速將資料寫入或載入我們的資料儲存解決方案中,且同時不干擾到資料的讀取和查詢。」

Nasdaq 將其日益增長的資料倉儲移轉至更現代的資料湖架構 (2:25)
kr_quotemark

有了 Simple Storage Service (Amazon S3) 和 Amazon Redshift 的靈活性和可擴展性,我們能夠每日輕鬆支援從處理 300 億條記錄提升至處理 700 億條記錄。」

Robert Hunt
Nasdaq 軟體工程部副總裁

將 AWS 服務運用在靈活性、可擴展性和效能

在 2018 年,Nasdaq 選擇在 Amazon Simple Storage Service (Amazon S3) 上建立新的資料湖基礎, 這可讓公司區分運算和儲存,並單獨擴展每個功能。在傳統的資料倉儲部署中,擴展儲存容量通常同時需要公司擴展運算容量,因為應用程式與儲存的連結十分緊密,若進行任何兩種比率的變更,均需現場修改硬體。Hunt 表示:「除了區分運算和儲存帶來的靈活性外,若同時寫入和讀取大型資料集,Simple Storage Service (Amazon S3) 則能擁有更好的擴展屬性。」「Simple Storage Service (Amazon S3) 為我們提供了一種解決方案,可在資料載入和查詢程序間實現零爭用。」

透過整合 AWS Identity and Access Management 政策,Simple Storage Service (Amazon S3) 還提供跨多個 AWS 帳戶的全面存取控制。此外,Nasdaq 將 Simple Storage Service (Amazon S3) 運用於儲存重要財務資料並將其移至 Amazon S3 Glacier,其能夠以較低的成本進行存檔。該公司依靠 Simple Storage Service (Amazon S3) 物件鎖定功能來進一步實現合規。
 
2019 年 1 月,Nasdaq 參加了 AWS 資料實驗室,在此與 AWS 解決方案架構師和分析服務專家協作,他們提供了規範性架構指導,以重新思考 Nasdaq 如何實作資料倉儲。在為期 4 天的實驗室中,Nasdaq 透過使用 Amazon Redshift 作為運算層,重新定義交付分析方式。結果顯示,Nasdaq 開始使用 Amazon Redshift Spectrum,其為資料湖倉儲架構提供強大功能,可同時查詢資料倉儲中的資料以及 Amazon S3 資料湖的資料。Hunt 表示:「我們將所有內部操作的交易所資料整合至 Simple Storage Service (Amazon S3) 和 Amazon Redshift Spectrum。」「這包含訂單、取消、報價以及交易。這些資訊被轉化為訊息並封存在 Simple Storage Service (Amazon S3) 中,並且這些訊息推動了我們的下游計費和報告監控程序。」
 
新的資料湖在 Simple Storage Service (Amazon S3) 上包含 15 TB 的資料,因此,Nasdaq 可以在將資料寫入 Simple Storage Service (Amazon S3) 後,無需立即載入即可進行查詢。這大大縮短產生洞察的時間,並讓 Nasdaq 經濟研究團隊能夠執行資料分析並針對資料進行複雜的查詢。此外,該公司的監控業務團隊在接收到美國的查詢後,便會進行資料湖查詢。美國證券交易委員會 (SEC)。

一開始以效能為中心的解決方案已成為團隊之間共用的多用途型資料湖,其可為業務帶來其他好處。

擴展到支援每日 700 億條記錄

有了獨立運算和儲存擴展能力,Nasdaq 現在可以擴展其運算層,進而支援交易量,而有了 Simple Storage Service (Amazon S3) 儲存資料湖,便可輕鬆支援在數量和複雜性方面持續增長的資料。例如,市場波動性在 2020 年 2 月下旬新冠肺炎疫情開始時飆升,該解決方案擴展至支援每天擷取 700 億條記錄,峰值量為 1,130 億條。
 
「有了 Simple Storage Service (Amazon S3) 和 Amazon Redshift 的靈活性和可擴展性,我們能夠每日輕鬆支援從處理 300 億條記錄提升至處理 700 億條記錄,」Hunt 說道。「我們的速度能夠趕上資料量的激增,並提供必要計費、報告和監控程序,以支援我們對市場的義務。」 Nasdaq 還可以快速輕鬆縮減環境,以確保市場再次調整時,沒有閒置容量。

載入市場資料以加快 5 小時的報告

根據 Simple Storage Service (Amazon S3) 和 Amazon Redshift 使用新的資料湖倉儲架構,與之前相比,Nasdaq 完成資料載入的時間快了 5 小時,達到 90%。此外,該公司透過最佳化資料倉儲,將 Amazon Redshift 查詢速度提高 32%。Hunt 表示:「這些改進有助於加快計費和報告程序。」「例如:我們能夠在市場關閉後的一兩個小時內完成資料擷取,這讓我們在計費和報告方面贏得起步的先機。這在我們處理最近看到的數量激增時非常有幫助,它還有助於我們滿足或超過內部客戶的最後期限。」
 
隨著時間的推移,Simple Storage Service (Amazon S3) 和 Amazon Redshift 資料湖在 Nasdaq 實現了轉型。Hunt 表示:「在倚賴 AWS 提供雲端專業知識的同時,我們可以自由專注於在產業中的專業知識,為 Nasdaq 進行創新。」「展望未來,我們將繼續根據市場需求,善用全新的 AWS 服務及技術。」

關於 Nasdaq

Nasdaq 於 1971 年成立,總部位於紐約市,是一家跨國金融服務公司,擁有和經營 Nasdaq 股票市場以及 8 間歐洲證券交易所。該公司是在 50 個國家近 4,000 家上市公司的歸屬。

AWS 的優勢

  • 每天擷取 700 億條記錄
  • 載入金融市場資料快 5 小時
  • 執行 Amazon Redshift 查詢的速度提升 32%
  • 使用共用資料實現業務轉型
  • 透過其他使用案例激發創新


使用的 AWS 服務

Amazon Simple Storage Service

Amazon Simple Storage Service (Amazon S3) 的物件儲存服務,提供領先業界的可擴展性、資料可用性、安全性及效能。

進一步了解 »

Amazon Redshift

Amazon Redshift 為您提供最佳的高效能資料倉儲,以及資料湖儲存的無限靈活性和可擴展性。

進一步了解 »

AWS Identity and Access Management

AWS Identity and Access Management (IAM) 可讓您安全地管理對 AWS 服務與資源的存取。

進一步了解 »

Amazon S3 Glacier

Amazon S3 Glacier 和 S3 Glacier Deep Archive 是成本極低的 Simple Storage Service (Amazon S3) 雲端儲存類別,為資料存檔和長期備份提供安全且耐用的儲存。

進一步了解 »

更多 Nasdaq 案例

找不到項目 

1

開始使用

各行各業各種規模的組織每天都在使用 AWS 來變革其業務和履行其使命。聯絡我們的專家,立即開始您的專屬 AWS 雲端之旅。