Nasdaq 率先將 AWS 運用在雲端證券交易所資料儲存

Nasdaq 是一家擁有和經營那斯達克股票交易所的跨國金融服務技術公司。Nasdaq 一共拓展了 27 個市場、1 個證券集中保管處和票據交換所，其範圍遍布北美和歐洲的各種資產類別中。它在全球市場擁有近 4,000 間上市公司，並針對位於 50 個國家/地區的其他市場基礎設施營運商提供其任務關鍵型技術。

Nasdaq Stock Exchange 是全球交易量最大的股票特許經營機構，它以高交易量和高速度管理買賣雙方的匹配，同時為電子輸入交易中的股票報價提供資料。Nasdaq 倚賴內部應用程式，擷取和存放所有受保護的交易資料。Nasdaq 軟體工程副總裁的 Robert Hunt 表示：「這些資料包含訂單、報價、交易以及取消。」每晚納斯達克都會收到數十億條記錄，需要在第二天早上開市前載入這些記錄，以進行計費和報告程序。

隨著自動交易平台進入市場，交易速度和交易量都在增長。在 2014 年，為了擴展規模和提高效能並降低營運成本，Nasdaq 從舊式內部部署資料倉儲轉移至由 Amazon Redshift 叢集支援的 Amazon Web Services (AWS) 資料倉儲。在 2014 年至 2018 年之間，隨著該公司擴展解決方案支援所有北美市場，Amazon Redshift 叢集增長到 70 個節點。到 2018 年，該解決方案每晚從數千個來源擷取金融市場資料，記錄範圍從 300 億到 550 億條，超過 4 TB。

隨著時間的推移，資料的增長導致管理該資料以進行分析的方法發生了變化。倉儲的每晚批次處理在處理大量資料以滿足嚴格截止日期方面，帶來了一大挑戰。使用者倚賴資料來完成計費、報告和監控。「當 2018 年初市場波動加劇時，倉儲的資料量大幅增長，在 2018 年達到每天約 550 億條記錄的峰值，」Hunt 說道。

更複雜的交易實務導致資料大幅增長，Nasdaq 開始計劃發展新架構，以繼續實現生態系統所期望的效能標準和卓越運營，這一點至關重要。Hunt 表示：「我們必須在市場關閉至次日早晨期間，同時載入和處理 300 億條記錄。資料載入的延遲會影響到交付報告的時間。」「我們需要快速將資料寫入或載入我們的資料儲存解決方案中，且同時不干擾到資料的讀取和查詢。」

在 2018 年，Nasdaq 選擇在 Amazon Simple Storage Service (Amazon S3) 上建立新的資料湖基礎， 這可讓公司區分運算和儲存，並單獨擴展每個功能。在傳統的資料倉儲部署中，擴展儲存容量通常同時需要公司擴展運算容量，因為應用程式與儲存的連結十分緊密，若進行任何兩種比率的變更，均需現場修改硬體。Hunt 表示：「除了區分運算和儲存帶來的靈活性外，若同時寫入和讀取大型資料集，Simple Storage Service (Amazon S3) 則能擁有更好的擴展屬性。」「Simple Storage Service (Amazon S3) 為我們提供了一種解決方案，可在資料載入和查詢程序間實現零爭用。」

一開始以效能為中心的解決方案已成為團隊之間共用的多用途型資料湖，其可為業務帶來其他好處。