亚马逊AWS官方博客
新增功能 – 适用于 Amazon FSx for Lustre 文件系统的高性能 HDD 存储
许多工作负载(如基因组分析、机器学习模型训练、高性能计算 (HPC) 和分析应用程序)都依赖于访问同一组数据的多个计算实例。对于这些工作负载,计算实例的集群通常连接到高性能共享文件系统。Amazon FSx for Lustre 让您可以轻松且经济高效地启动和运行世界上最热门的高性能共享文件系统。今天,我们宣布推出适用于 FSx for Luster 的新 HDD 存储选项,该选项可将吞吐量密集型工作负载的存储成本降低多达 80%,而这些工作负载不需要 SSD 存储的亚毫秒级延迟。
客户可以实现每秒高达数十 GB 的吞吐量,同时降低以吞吐量为主要性能属性的工作负载的存储成本。视频渲染和财务模拟是这些吞吐量密集型工作负载的两个示例。
本次发布包括两个新的基于 HDD 的存储选项,它们针对读取和写入序列文件数据进行了优化。其中一个选项为每 TiB 存储提供 12 MB/秒的基准吞吐量,另一个选项为每 TiB 存储提供 40 MB/秒的基准吞吐量,两者都允许您突增至这些吞吐量级别的 6 倍。为了提高频繁访问的文件的性能,您还可以预置 SSD 缓存,该缓存将自动调整为 HDD 文件系统存储容量的 20%。在已预置 SSD 缓存的文件系统上,从缓存中读取的文件具有亚毫秒级的延迟。
新 FSx 文件系统由多个基于 HDD 的存储服务器和一个基于 SSD 的元数据服务器组成。元数据服务器上的 SSD 存储可确保所有元数据操作(代表大多数文件系统操作)都以亚毫秒级的延迟交付。
HDD 性能随着存储容量的增加而提高,使您能够轻松扩展存储解决方案,而不会遇到文件系统瓶颈。以下是新 HDD 存储选项和现有 SSD 存储选项的性能规范摘要。
快速指南
传统上,操作和扩展高性能文件系统既昂贵又耗时。现在,只需点击几下,任何人都可以将 FSx for Lustre 用于任何计算工作负载。启动基于 HDD 的文件系统很简单。只需打开管理控制台,然后单击创建文件系统按钮。
选择 FSx for Lustre,然后单击下一步。
FSx for Lustre 提供了两种部署类型 – 持久性和暂存。HDD 存储在持久性模式下可用,该模式专为长期存储和工作负载而设计。在持久性文件系统上,如果文件服务器发生故障,则会复制数据并替换文件服务器,而暂存类型则是临时存储和短期数据处理的理想选择。在暂存文件系统上,如果文件服务器发生故障,则不会复制和持久存储数据。您可以在本博客文章中找到有关这两个部署选项之间差异的更多详细信息。
选择 HDD 作为存储类型后,您可以选择每 TiB 12 或 40 MB/秒作为每个存储单元的吞吐量。您还可以通过选择“只读 SSD 缓存”作为驱动器缓存类型来添加 SSD 缓存以加速文件访问。
您也可以通过 CLI 创建文件系统。
fsx create-file-system \
--storage-capacity <capacity> --storage-type HDD \
--file-system-type LUSTRE \
--subnet-ids subnet-<your vpc subnet id>85b2c0ce --lustre-configuration \
DeploymentType=PERSISTENT_1,PerUnitStorageThroughput=<12 or 40>\,DriveCacheType=<NONE or READ>
对于 PerUnitStorageThroughput=12,可接受的存储容量值为 6000 的倍数。
对于 PerUnitStorageThroughput=40,可接受的存储容量值为 1800 的倍数。
现已推出
新的 HDD 存储选项已在提供 Amazon FSx for Lustre 的所有 AWS 区域推出。请访问我们的网站以了解更多详细信息。
– Kame;