Amazon FSx for Lustre

用於處理 Amazon S3 或現場部署資料的高效能檔案系統

Amazon FSx for Lustre 提供高效能檔案系統,並且針對以下快速處理工作負載進行優化:機器學習、高效能運算 (HPC)、影片處理、財務模組化和電子設計自動化 (EDA) 等。這些工作負載通常需要透過快速且可擴展的檔案系統界面呈現資料,而且一般會把資料集存放在 Amazon S3 這類長期資料存放區中。

操作高效能檔案系統通常需要專業知識和管理開銷,而且需要佈建儲存伺服器和調整複雜的效能參數。使用 Amazon FSx,您可以啟動並執行以低於一毫秒的速度存取資料的檔案系統,而且可讓您以每秒高達數百 GB 輸送量和數百萬個 IOPS 的速度讀寫資料。

Amazon FSx for Lustre 可以原生方式與 Amazon S3 搭配使用,讓您更輕鬆地使用高效能檔案系統處理雲端資料集。連結到 S3 儲存貯體時,FSx for Lustre 檔案系統會以透明的方式以檔案呈現 S3 物件,讓您將結果寫回 S3。您也可以將 FSx for Lustre 當作獨立的高效能檔案系統使用,將工作負載從現場部署暴增到雲端。將現場部署資料複製到 FSx for Lustre 檔案系統,您可以讓 AWS 上執行的運算執行個體更快速地處理這些資料。使用 Amazon FSx,您只需為使用的資源付費。沒有最低承諾、前期硬體或軟體成本或其他費用。

Amazon FSx for Lustre 概觀

優勢

高效能和可擴展

Amazon FSx for Lustre 提供的效能可滿足各種高效能工作負載。FSx for Lustre 建立在 Lustre 上,這是一種常用的高效能檔案系統,透過低於一毫秒的延遲時間和可擴展到每秒數百 GB 的輸送量優化資料處理。

無縫存取 S3 或現場部署資料

Amazon FSx 能與 Amazon S3 自然搭配使用,可利用高效能 POSIX 界面輕鬆處理 S3 資料。與 S3 儲存貯體連結時,FSx for Lustre 會以透明的方式以檔案呈現 S3 物件。使用 FSx for Lustre 可隨時將檔案系統上已變更或新的資料寫回 S3 儲存貯體。FSx for Lustre 也能讓您使用 Amazon Direct Connect 或 VPN,將現場部署工作負載大量移到雲端。 

全受管

Amazon FSx 是全受管檔案系統,可以輕鬆地在雲端中啟動和執行高效能檔案系統。您不再需要擔心檔案系統的硬體佈建和維護、軟體組態以及複雜的效能調整。您可以使用 AWS 管理主控台、AWS CLI 或 AWS 開發套件,在幾分鐘內建立和啟動 Amazon FSx 檔案系統。

經濟實惠

Amazon FSx for Lustre 有助於優化高效能工作負載的儲存成本:它提供價格低廉且高效能的儲存體來處理資料,而您的長期資料則存放在 Amazon S3 或其他低成本的長期資料存放區。FSx for Lustre 的高效能讓您可以更快地執行資料處理工作負載,從而減少花費在運算資源上的時間和金錢。使用 FSx for Lustre 時,您只需為實際使用的資源付費。沒有最低承諾或前期費用。

原生檔案系統界面

Amazon FSx for Lustre 符合 POSIX 標準,因此無須進行任何變更即可使用目前以 Linux 為基礎的應用程式。FSx for Lustre 提供原生的檔案系統界面,其使用方式與其他採用 Linux 作業系統的任何檔案系統一樣。它還提供先寫後讀一致性,並支援檔案鎖定。您可以使用 POSIX 許可和 Amazon Virtual Private Cloud (VPC) 許可,控制對 FSx for Lustre 檔案系統的存取。

安全及合規

Amazon FSx 可自動加密您的靜態資料。如果您需要符合法規,FSx for Lustre 符合 PCI-DSS、ISO 標準和 HIPAA 資格。Amazon FSx 支援 Amazon Virtual Private Cloud (VPC),因此您可以在虛擬網路中啟動 FSx for Lustre 檔案系統資源。

運作方式

FSx_Lustre_diagram

使用案例

機器學習

機器學習工作負載使用大量的訓練資料。這些工作負載通常使用共用檔案儲存,因為多個運算執行個體需要同時處理訓練資料集。Amazon FSx 已針對機器學習工作負載進行優化,因為它為處理 ML 訓練資料集提供高輸送量和一致性,以及低延遲的共用檔案儲存。

高效能運算 (HPC)

高效能運算 (HPC) 可讓科學家和工程師解決複雜的運算密集型問題。石油和天然氣發現與基因體等 HPC 工作負載要處理大量的資料,而這些資料需要由多個運算執行個體以高輸送量存取。Amazon FSx 是 HPC 工作負載的理想選擇,因為它提供的檔案系統可針對短期高效能工作負載提供優化的效能和成本,而且擁有數千個 EC2 執行個體的檔案系統存取權。

媒體處理和轉碼

媒體資料處理工作流程 (如影片轉譯、視覺效果和媒體製作) 需要運算和儲存資源來處理所建立的大量資料。Amazon FSx 提供處理、分發和分析數位媒體檔案所需的高效能和低延遲。

自動駕駛汽車

開發自動駕駛汽車系統的客戶通常會對大量的車輛感應器和攝影機資料進行模擬和訓練以測試模型,進而確保車輛的安全。Amazon FSx for Lustre 讓您能夠透過延遲低於一毫秒的標準檔案系統、每秒數百 GB 輸送量和數千個 IOPS,從數百個節點同時存取資料。FSx for Lustre 可讓您大規模執行模擬,達到每週數千次模擬執行並加速模型開發。

大數據分析

大數據分析使用案例,包括詐欺偵測和財務分析,會產生大量需要高效能儲存的資料,以支援資料密集型應用程式。管理不斷增加的資料量既昂貴又複雜。Amazon FSx for Lustre 可優化效能和成本,能夠更快地發現並為您的組織帶來價值。

電子設計自動化 (EDA)

EDA 是一種常見的高效能應用程式,用於在矽晶片生產的設計階段模擬效能和故障。FSx for Lustre 提供的效能和靈活性可讓您更快地進行創新、設計和驗證新產品,並進行擴展以滿足需求。

Product-Page_Standard-Icons_01_Product-Features_SqInk
查看 Amazon FSx for Lustre 功能

了解 Amazon FSx for Lustre 的主要功能。

進一步了解 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
註冊免費帳戶

立即存取 AWS 免費方案。 

註冊 
Product-Page_Standard-Icons_03_Start-Building_SqInk
開始在主控台進行建置

開始在 AWS 主控台使用 Amazon FSx for Lustre 進行建置。

登入