nasdaq-200x70

Nasdaq 率先將 AWS 運用在雲端證券交易所資料儲存

2020

Nasdaq 是一家擁有和經營 Nasdaq Stock Exchange 的跨國金融服務技術公司。Nasdaq 一共拓展了 27 個市場、1 個證券集中保管處和票據交換所,其範圍遍布北美和歐洲的各種資產類別中。Nasdaq 在全球市場擁有近 4,000 家上市公司,並為 50 個國家的其他市場基礎架構營運商提供重要任務技術。

Nasdaq Stock Exchange 是全球交易量最大的股票特許經營商,其以高交易量和高速管理買方與賣方的比對,同時提供資料以電子輸入交易股票價格報價。Nasdaq 倚賴內部應用程式,擷取和儲存所有受保護的交易資料。Nasdaq 軟體工程副總裁的 Robert Hunt 表示:「這些資料包含訂單、報價、交易以及取消。」Nasdaq 每晚會在次日早晨市場開放前,接收到數十億條需要載入計費和報告過程的記錄。

因為自動交易平台已進入市場,交易的速度和數量明顯增長。在 2014 年,為了擴展規模和提高效能並降低營運成本,Nasdaq 從傳統的內部部署資料倉儲轉移至由 Amazon Redshift 叢集支援的 Amazon Web Services (AWS) 資料倉儲。在 2014 年至 2018 年之間,隨著該公司擴展解決方案支援所有北美市場,Amazon Redshift 叢集增長到 70 個節點。到了 2018 年,該解決方案每晚從上千個來源接收金融市場資料,其範圍從 300 億到 550 億條記錄,且資料量超過 4 TB。

資料隨時間的增長導致管理資料分析的方法有所改變。倉儲的每晚批次處理在處理大量資料以滿足嚴格截止日期方面,帶來了一大挑戰。使用者倚賴資料來完成計費、報告和監控。Hunt 表示:「當 2018 年初的市場波動增加時,倉儲資料量明顯增加,當時每日可達約 550 億條的記錄高峰。」

更複雜的交易方式導致資料大量增長。Nasdaq 開始計劃開發全新架構以繼續實現生態系統所期望的效能標準和卓越營運,可謂至關重要。Hunt 表示:「我們必須在市場關閉至次日早晨期間,同時載入和處理 300 億條記錄。資料載入的延遲會影響到交付報告的時間。」「我們需要快速將資料寫入或載入我們的資料儲存解決方案中,且同時不干擾到資料的讀取和查詢。」

Nasdaq 將其日益增長的資料倉儲移轉至更現代的資料湖架構 (2:25)
kr_quotemark

有了 Amazon S3 和 Amazon Redshift 的靈活性和可擴展性,我們能夠每日輕鬆支援從處理 300 億條記錄提升至處理 700 億條記錄。」

Robert Hunt
Nasdaq 軟體工程副總裁

將 AWS 服務運用在靈活性、可擴展性和效能

在 2018 年,Nasdaq 選擇在 Amazon Simple Storage Service (Amazon S3) 上建立新的資料湖基礎, 這可讓公司區分運算和儲存,並單獨擴展每個功能。在傳統的資料倉儲部署中,擴展儲存容量通常同時需要公司擴展運算容量,因為應用程式與儲存的連結十分緊密,若進行任何兩種比率的變更,均需現場修改硬體。Hunt 表示:「除了區分運算和儲存帶來的靈活性外,若同時寫入和讀取大型資料集,Amazon S3 則能擁有更好的擴展屬性。」「Amazon S3 為我們提供可讓資料載入和查詢過程之間為零爭用的解決方案。」

透過整合 AWS Identity and Access Management (AWS IAM) 策略,Amazon S3 還提供跨多個 AWS 帳戶的全方位存取控制。此外,Nasdaq 將 Amazon S3 運用於儲存重要財務資料並將其移至 Amazon S3 Glacier ,其能夠以較低的成本進行存檔。該公司倚賴 Amazon S3 Object Lock 功能,進一步實現合規。
 
Nasdaq 於 2019 年 1 月參加 AWS 資料實驗室,其與 AWS 解決方案架構師以及提供規範架構指導的分析服務專家一同合作,重新思索 Nasdaq 實施資料倉儲的方式。在為期 4 天的實驗室中,Nasdaq 透過使用 Amazon Redshift 作為運算層,重新定義交付分析方式。結果顯示,Nasdaq 開始使用 Amazon Redshift Spectrum,其為 Lake House 架構提供強大功能,可同時查詢資料倉儲中的資料以及 Amazon S3 資料湖的資料。Hunt 表示:「我們將所有內部操作的交易所資料整合至 Amazon S3 和 Amazon Redshift Spectrum。」「這包含訂單、取消、報價以及交易。系統會將那些內容轉換為訊息並儲存在 Amazon S3 中,而那些訊息會驅動我們的下游計費和報告監控程序。」
 
新的資料湖在 Amazon S3 上包含 15 TB 的資料,將資料寫入 Amazon S3 後,Nasdaq 無須載入資料,便可就地查詢。這大大縮短產生洞見的時間,並讓 Nasdaq 經濟研究團隊能夠執行資料分析並針對資料進行複雜的查詢。此外,該公司的監控業務團隊在接收到美國的查詢後,便會進行資料湖查詢。美國證券交易委員會 (SEC)。

一開始以效能為中心的解決方案已成為團隊之間共用的多用途型資料湖,其可為業務帶來其他好處。

擴展到支援每日 700 億條記錄

有了獨立運算和儲存擴展能力,Nasdaq 現在可以擴展其運算層,進而支援交易量,而有了 Amazon S3 儲存資料湖,便可輕鬆支援在數量和複雜性方面持續增長的資料。例如:在 COVID-19 疫情大流行初期,2020 年 2 月下旬的市場動盪迅速增加,而該解決方案的規模可擴展到支援每日截取 700 億條記錄,其高峰為 1,130 億條紀錄。
 
Hunt 表示:「有了 Amazon S3 和 Amazon Redshift 的靈活性和可擴展性,我們能夠每日輕鬆支援從處理 300 億條記錄提升至處理 700 億條記錄。」「我們的速度能夠趕上資料量的激增,並提供必要計費、報告和監控程序,以支援我們對市場的義務。」 Nasdaq 還可以快速輕鬆縮減環境,以確保市場再次調整時,沒有閒置容量。

載入市場資料以加快 5 小時的報告

根據 Amazon S3 和 Amazon Redshift 使用新的 Lake House 架構,與之前相比,Nasdaq 完成資料載入的時間快了 5 小時,達到 90%。此外,該公司透過最佳化資料倉儲,將 Amazon Redshift 查詢速度提高 32%。Hunt 表示:「這些改進有助於加快計費和報告程序。」「例如:我們能夠在市場關閉後的一兩個小時內完成資料擷取,這讓我們在計費和報告方面贏得起步的先機。當我們處理最近遇到的資料高峰時,這可有效協助我們,也有助於達到或超過內部客戶的截止期限。」
 
Amazon S3 和 Amazon Redshift 資料湖隨著時間推移已讓 Nasdaq 的轉換成真。Hunt 表示:「在倚賴 AWS 提供雲端專業知識的同時,我們可以自由專注於在產業中的專業知識,為 Nasdaq 進行創新。」「展望未來,我們將繼續根據市場需求,善用全新的 AWS 服務及技術。」

關於 Nasdaq

Nasdaq 於 1971 年成立,總部位於紐約市,是一家跨國金融服務公司,擁有和經營 Nasdaq 股票市場以及 8 間歐洲證券交易所。該公司是在 50 個國家近 4,000 家上市公司的歸屬。

AWS 的優勢

  • 每日擷取 700 億條記錄
  • 將載入金融市場資料速度加快 5 個小時
  • 將執行 Amazon Redshift查詢速度提高 32%
  • 實現共用資料的業務轉型
  • 透過其他使用案例激發創新


降低資料庫管理需求

Amazon Simple Storage Service

Amazon Simple Storage Service (Amazon S3) 物件儲存服務提供領先業界的可擴展性、資料可用性、安全性及效能。

進一步了解

Amazon Redshift

Amazon Redshift 為您提供最佳的高效能資料倉儲,以及資料湖儲存的無限彈性和可擴展性。

進一步了解

AWS Identity and Access Management

AWS Identity and Access Management (IAM) 讓您能夠安全地管理對 AWS 服務和資源的存取。

進一步了解

Amazon S3 Glacier

Amazon S3 Glacier 和 S3 Glacier Deep Archive 是為一種安全耐用且成本極低的 Amazon S3 雲端儲存類別,供資料存檔和長期備份使用。

進一步了解


開始使用

各行各業各種規模的公司每天都在使用 AWS 來變革其業務。立即聯絡我們的專家,展開您自己的 AWS 雲端之旅。