Amazon FSx for Lustre

Amazon FSx for Lustre 让您可以轻松且经济高效地启动和运行全世界最流行的高性能文件系统。它适合机器学习、高性能计算 (HPC)、视频处理和财务建模等对速度要求极高的工作负载。

开源 Lustre 文件系统专为需要快速存储的应用程序设计 – 您希望存储的速度能与计算的速度匹配。Lustre 专为快速且经济高效地处理全世界增长最为快速的数据集而构建,是全球最快速的 500 台计算机使用最广泛的文件系统。它提供亚毫秒级的延迟、最高每秒数百 GB 的吞吐量和百万级的 IOPS。

Amazon FSx 现已成为一项完全托管的服务,让您能够将 Lustre 文件系统用于对存储速度要求极高的任何工作负载。您不再需要进行复杂的 Lustre 文件系统设置和管理,可以在几分钟内启动高性能的文件系统。它还提供多种部署选项以优化成本。

FSx for Lustre 与 Amazon S3,集成,从而可以方便地使用 Lustre 文件系统处理数据集。当连接到 S3 存储桶时,FSx for Lustre 文件系统会以透明方式将 S3 对象呈现为文件,并允许您将更改后的数据写回 S3。

概览:Amazon FSx for Lustre

优势

高性能和高可扩展性​

Amazon FSx for Lustre 提供的性能可以满足各种高性能工作负载的要求。Lustre 文件系统专为数据处理而优化,提供亚毫秒级延迟,它的吞吐量可扩展至每秒数百 GB。

无缝访问 S3 数据

Amazon FSx for Lustre 与 Amazon S3 原生集成,让您可以轻松地使用高性能 POSIX 接口处理 S3 中的云数据集。当连接到 S3 存储桶时,FSx for Lustre 会以透明方式将 S3 对象呈现为文件。FSx for Lustre 会跟踪更改,让您可以随时将文件系统上经过更改的数据和新数据写回 S3 存储桶。

简单易用,完全托管

Amazon FSx for Lustre 让您可以轻松在云中启动和运行高性能的 Lustre 文件系统。您不需要再担心文件系统的硬件预置和维护、软件配置以及复杂的性能优化问题。只需几分钟,您就可以使用 AWS 管理控制台、AWS CLI 或 AWS 软件开发工具包创建并启动 Amazon FSx for Lustre 文件系统。

从在任何地方运行的 Linux 应用程序访问

Amazon FSx for Lustre 与 POSIX 兼容,因此您可以使用当前基于 Linux 的应用程序,无需进行任何更改。FSx for Lustre 提供原生文件系统接口,可以像任何文件系统一样与 Linux 操作系统配合使用。它还可以实现写后读一致性,并支持文件锁定。您可以使用 POSIX 权限和 Amazon Virtual Private Cloud (VPC) 规则控制对 FSx for Lustre 文件系统的访问。您可以从 Amazon EC2 实例访问您的文件系统,也可使用 AWS Direct Connect 或 AWS VPN 从本地计算机访问。

多种部署选项

Amazon FSx for Lustre 提供临时性和持久性文件系统选项,以满足短期和更长期数据处理的需要。临时性文件系统适合临时性的存储和短时间的数据处理。数据将不会被复制,文件服务器发生故障时数据也不会持久保存。持久性文件系统适合更长期的存储和工作负载。在持久性文件系统中,数据将被复制,文件服务器发生故障时将被替换。

安全且合规

Amazon FSx for Lustre 会自动执行数据静态加密和传输中加密。FSx for Lustre 符合 PCI-DSS、ISO 和 SOC 标准以及 HIPAA 的规定,适合具有监管合规要求的使用案例。您还可以通过 Amazon Virtual Private Cloud (VPC) 安全组规则来控制网络访问权限。

使用案例

机器学习

机器学习工作负载需要使用大量训练数据。这种工作负载通常使用共享文件存储,因为多个计算实例需要同时处理训练数据集。FSx for Lustre 提供处理机器学习数据集训练所需的共享文件存储,具有高吞吐量、高一致性和低延迟的特点,是机器学习工作负载的极佳选择。FSx for Lustre 还继承了 Amazon SageMaker,让您可以加速训练作业。

高性能计算

高性能计算 (HPC) 让科学家和工程师们能够解决复杂的计算密集型问题。与油气发现和基因组学分析工作负载一样,HPC 工作负载处理大量数据,而这些数据需要由具有高吞吐量的多个计算实例访问。FSx for Lustre 提供面向高性能工作负载的性能和成本要求进行优化的文件系统,支持数以千计的 EC2 实例访问,是 HPC 和科学计算工作负载的理想选择。FSx for Lustre 还集成了 AWS ParallelCluster 和 AWS Batch,让您可以轻松地处理 HPC 工作负载。

媒体处理和转码

视频渲染、视觉效果和媒体制作等媒体数据处理工作流程需要使用计算和存储资源来处理创建的大量数据。FSx for Lustre 可以实现处理、分发和分析数字媒体文件所需的高性能和低延迟。

自动驾驶汽车

开发自动驾驶汽车系统的客户一般通过对大量汽车传感器和摄像机数据进行仿真和训练来测试模型,以确保汽车安全。借助 FSx for Lustre,您可以从数以千计的高性能节点同时访问该数据,让您可以更轻松地大规模运行模拟并加速模型开发。

大数据和财务分析

包括欺诈检测和财务分析在内的大数据分析使用案例会产生大量数据,而这些数据需要高性能存储才能支持数据密集型应用程序。处理不断增长的大量数据可能成本极高、十分复杂。Amazon FSx for Lustre 可以大规模处理大量数据,它的性能和成本都经过优化,可以让您的组织更快地有所发现并实现价值。

电子设计自动化 (EDA)

EDA 是一种高性能应用场景,用于模拟硅芯片生产设计阶段的性能和故障。FSx for Lustre 提供的性能和灵活性使您能够更快地创新、设计和验证新产品,并根据需要进行扩展。

Product-Page_Standard-Icons_01_Product-Features_SqInk
查看 Amazon FSx for Lustre 的功能

了解 Amazon FSx for Lustre 的主要功能。

了解更多 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
注册免费账户

立即享受 AWS 免费套餐。 

注册 
Product-Page_Standard-Icons_03_Start-Building_SqInk
开始在控制台中构建

开始在 AWS 控制台中使用 Amazon FSx for Lustre 构建。

登录