发布于: Sep 3, 2019

Amazon SageMaker 客户现在可以将较小的 Amazon FSx for Lustre 文件系统用作训练机器学习模型的数据源。至今,可以创建的最小 FSx for Lustre 文件系统是 3.6 TB。对于小于此大小的训练集,客户现在可以创建和使用小至 1.2 TB 的文件系统。

Amazon FSx for Lustre 是一种使用 Amazon S3 数据的高性能文件系统,并针对机器学习、分析和高性能计算等工作负载进行了优化。

借助 FSx for Lustre,客户可以加速其 Amazon SageMaker 训练作业。在 2019 年 8 月 27 日宣布支持 Amazon FSx for Lustre 之前,使用文件输入模式时,Amazon SageMaker 在训练作业开始时以透明方式将完整的训练集从 Amazon S3 下载到本地文件存储。现在,借助 Amazon FSx for Lustre,客户可以免去最初的 Amazon S3 下载时间来加快其文件模式训练作业。当链接到 Amazon S3 时,Amazon FSx for Lustre 文件系统会在第一次访问对象时自动将对象从 Amazon S3 复制到文件系统。相同的 Amazon FSx for Lustre 文件系统也可用于在相同数据集上运行的迭代 Amazon SageMaker 训练作业,从而防止重复下载通用对象。通过支持较小的文件系统,Amazon FSx for Lustre 现在可用于更多的机器学习工作负载。

较小的 Amazon FSx for Lustre 文件系统现已在以下 AWS 区域提供:美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(俄勒冈)、美国西部(加利福尼亚北部)、欧洲(爱尔兰)、欧洲(法兰克福)和亚太地区(东京)。有关区域可用性的详细信息,请查看 AWS 区域表。 

请访问文档获取更多信息,并阅读博客文章了解如何使用该功能。