通过文件接口访问 Amazon S3 的弹性存储和吞吐量
适用于 Amazon S3 的 Mountpoint 是一个开源文件客户端,您可以使用它在计算实例上挂载 S3 存储桶,并将其作为本地文件系统进行访问。它会自动将本地文件系统 API 调用转换为 S3 对象上的 REST API 调用。适用于 Amazon S3 的 Mountpoint 针对高吞吐量性能进行了优化。它基于 AWS Common Runtime(CRT)库构建,该库专为高性能和低资源使用量而构建,旨在有效利用您的计算资源。
优势
文件 API 访问权限
适用于 Amazon S3 的 Mountpoint 将 S3 对象作为文件呈现在本地文件系统中,并将本地文件系统 API 调用转换为对 S3 对象的 REST API 调用。它支持执行顺序和随机读取操作,还支持执行顺序写入操作以创建新文件。
何时使用适用于 Amazon S3 的 Mountpoint
适用于 Amazon S3 的 Mountpoint 非常适合那些需要读取大型数据集(TB 级到 PB 级)且需要 Amazon Simple Storage Service(Amazon S3)的弹性和高吞吐量的工作负载。常见应用场景包括大规模机器学习(ML)训练、自动驾驶汽车模拟、基因组学分析和图像渲染。尽管这类工作负载通过多个计算实例读取大型数据集,但它们会从单个节点按顺序写入文件。这意味着他们不需要锁定等共享文件系统功能。
适用于 Amazon S3 的 Mountpoint 的设计宗旨是,它公开 Amazon S3 的原生性能,并且不支持无法针对 S3 对象 API 有效实施的文件系统操作。这意味着适用于 Amazon S3 的 Mountpoint 不会尝试模拟 S3 对象 API 中没有类似功能的共享文件系统功能。对于需要共享文件系统功能(例如文件锁定和 POSIX 权限)的应用程序,您可以使用适用于 Lustre 的 Amazon FSx 以及与 S3 存储桶的数据存储库关联。
工作原理
客户
Continental 开发开创性技术和服务,以实现人员及其货物的可持续、互联交通。这家科技公司成立于 1871 年,为车辆、机器、交通和运输提供安全、高效、智能且经济实惠的解决方案。
“Continental 的高级驾驶员辅助系统(ADAS)技术通过自适应巡航控制和紧急制动辅助等功能实现高水平的驾驶舒适度并避免碰撞。验证 ADAS 开发需要在 Amazon EC2 实例上运行的计算工作负载中重新模拟存储在 Amazon S3 中的大量输入数据。适用于 Amazon S3 的 Mountpoint 使我们能够减少等待将数据复制到 EC2 实例进行处理所花费的空闲时间。凭借其高吞吐量性能,适用于 Amazon S3 的 Mountpoint 拓宽了我们对 EC2 实例类型的选择,显著降低了我们的计算成本。”
Continental 云模拟平台产品负责人 The An Binh Nguyen
Untold Studios 是一家获得英国电影和电视艺术学院奖、艾美奖和格莱美奖提名的工作室,致力于通过音乐、电视和广告打造文化。Untold Studios 开发原创节目、制作音乐和广告内容,并制作世界一流的视觉特效,所有这些都通过下一代技术实现。
“Untold Studios 之所以选择使用 AWS,是因为后者能够快速迭代基础设施并利用新技术。适用于 Amazon S3 的 Mountpoint 可以降低存储成本并简化我们的渲染工作流程的架构,这些工作流程需要高吞吐量访问权限才能读取和写入 TB 级的瞬态文件。它使我们的应用程序能够通过文件接口直接访问 Amazon S3 的弹性吞吐量和存储空间,从而为艺术家和项目在主文件系统上腾出性能和容量。”
Untold Studios 技术主管 Sam Reid
Amagi 是全球媒体技术 SaaS 领导者,为广播和流媒体电视提供端到端云管理的直播视频、点播视频和盈利解决方案。
“在 Amagi,我们高度依赖 Amazon S3 来存储大量的视频、音频、图形和元数据。过去,我们尝试了各种基于 Fuse 的文件系统和基于 S3 的存储基础设施,但它们未能满足我们对广播级播放系统的 SLA 要求。使用适用于 Amazon S3 的 Mountpoint 进行长期实验时实现的持续高读取吞吐量令我们十分兴奋。我们优先考虑为客户提供具有成本效益的解决方案,同时保持高 SLA 标准,适用于 Amazon S3 的 Mountpoint 将使我们能够在多种产品上做到这一点。”
Amagi 平台和直播电视工程经理 Arpit Malani
Druva 提供跨端点、数据中心和云工作负载的数据保护和管理,消除了对复杂的基础设施和耗时的管理的依赖。
“我们的 4000 家客户需要满足不断扩大的全球数据保护、合规和安全要求。Amazon S3 Object Lambda 是一项适应市场变化而产生的创新,它使计算资源更接近集中式数据存储库,有助于我们的客户从他们的数据中提取更多的价值。作为一个完全建立在 AWS 基础之上的平台,Druva 致力于不断利用 AWS 的最新功能和技术增强用户体验。由 AWS 提供支持的 Druva 云平台和 Amazon S3 对象 Lambda 融合在一起后,将为组织带来无与伦比的集成机会,还可以直接访问和分析,从而充分释放备份数据的潜力。”
Druva 首席技术官 Stephen Manley
开始使用适用于 Amazon S3 的 Mountpoint
首先,下载适用于 Amazon S3 的 Mountpoint,然后通过简单的命令在您的计算实例上安装 S3 存储桶。然后,当应用程序将对象作为计算实例上本地可用的文件进行读写时,您可以将存储桶作为本地文件系统进行访问。有关详细说明,请阅读 适用于 Amazon S3 的 Mountpoint 用户指南。