面向现代化应用程序的持久性文件存储

为什么持久性文件存储对现代化应用程序开发很重要?

开发团队正在通过采用容器、无服务器和基于微服务的架构来实现他们的应用程序现代化。因为容器本质上是瞬态的,所以长时间运行的应用程序可以从将状态保存在持久存储中获益。机器学习训练和 Web 服务等分布式应用程序可以从共享存储层中获益。 Amazon Elastic File System (Amazon EFS) 是一个简单的、无服务器的、一劳永逸的云原生文件系统,使您能够构建现代化应用程序,持久存储和共享来自 AWS 容器和无服务器应用程序的数据,无需进行任何管理。

使用 AWS Lambda 和 Amazon EFS 实现无服务器应用程序现代化 (1:47)

您的无服务器应用程序的数据持久性

无服务器计算使您更加敏捷,同时花费更少的时间来处理应用程序的安全性、可扩展性和可用性。与此同时,现代的数据密集型应用程序要求快速访问大量共享数据。AWS Lambda 使您能够运行大规模任务关键型无服务器应用程序。Amazon EFS 为这些应用程序提供了高度可用且持久的无服务器存储,简化了在 Lambda 函数和 AWS Fargate 任务执行之后及执行期间需要持久存储的数据的共享。这个强大的组合非常适合于构建机器学习应用程序,加载大型模型、库和其他参考数据,处理或备份大量数据,托管 Web 内容或开发内部构建系统。

Amazon EFS:使用 Amazon ECS 和 AWS Fargate 保护数据持久性 (14:11)

优势

简单

Amazon EFS 挂载配置在应用程序元数据中,如 Amazon Elastic Container Service (Amazon ECS) 任务定义或 Kubernetes 持久卷,包括连接性,以便开发人员可以专注于他们的应用程序,而不是基础设施。

弹性

Amazon ECSAmazon Elastic Kubernetes Service (Amazon EKS)AWS FargateAmazon EFS 具有完全弹性,可根据需求快速纵向扩展和缩减。 

可用性与持久性

Amazon ECSAmazon EKSAWS FargateAWS LambdaAmazon EFS 是区域性服务。通过自动故障转移功能,您可以构建跨多个可用区的应用程序。 

安全

AWS 提供安全的云计算环境。对 Amazon EFS 的访问可以基于 Amazon ECS 任务的 IAM 角色进行控制。

成本优化

只需按存储和计算的使用情况付费。Amazon EFS 可以根据需求无中断地从零扩展到数 PB,随着您添加和删除文件自动增长和缩减,且 Amazon ECSAmazon EKSAWS Fargate 集群弹性伸缩使容量能够增长和缩减以满足需求。

工作原理

Product-Page-Diagram_EFS-for-EKS_How-It-Works_Revision-1

使用案例

Web 服务和内容管理

Web 服务和内容管理系统要求跨多个容器化应用程序实例共享数据访问、数据持久存储和数据持久性。例如 WordPress 和 Drupal 这样的应用程序,它们从横向扩展到多个实例以获得性能和冗余中受益,并且需要共享上传、插件和模板。

有状态微服务

有状态微服务是松散耦合应用程序的一部分,它需要在每次运行时记住有关其状态的一些情况,就像天气应用程序记住您的家乡城市一样。对于这些现代化应用程序,Amazon EFS 是一个数据基础,与容器和无服务器技术协同操作,以可靠和一致地部署到 AWS,允许数据持续应用程序状态。

ML 和 AI

容器是部署机器学习 (ML) 训练任务、推理终端节点的一种方法,是在多个环境中一致运行的工具。使用容器可以解决一致性、可移植性和依赖性管理等问题,这些问题使数据科学家和开发人员的工作变得复杂,而他们真正应该关注的是他们的代码、数据集和训练模型,而不是基础设施。Amazon SageMaker 笔记本之类的 ML 工具以及 Jupyter 等开源工具使用 Amazon EFS 管理数据科学家主目录。Amazon FSx for Lustre 可用于您的计算最密集的 ML 训练任务,该类任务需要最高的吞吐量。

案例研究

T-Mobile-logo

T-Mobile 使用 Amazon EFS 改进客户体验,降低 Kubernetes 存储的成本

caltech_logo.png

Caltech 使用 Amazon EFS 自动化学术计算文件管理 

Discover_Customer-Reference_Logo@2x

Discover Financial Services 使用 Amazon EFS 打造出数据科学家可协作的环境 

FacultyAI_Customer-Reference_Logo@2x

教师使用 Amazon EFS 扩展创新的机器学习平台
 

博客文章

作者:Dilip Rajan 和 John Chao,2021 年 7 月 21 日
 
作者:Narayana Vemburaj 和 Anjani Reddy,2021 年 7 月 9 日
 
作者:Shivkumar Rajendran、Ananth Vaidyanathan 和 Prem Nambi,2021 年 7 月 9 日
 
作者:Chayan Panda 和 Mukosi Mukwevho,2021 年 6 月 14 日
 
作者:Chayan Panda、Michael Hsieh 和 Mukosi Mukwevho,2021 年 4 月 1 日
 
作者:Mike Stefaniak 和 Marco Ballerini,2021 年 3 月 23 日
 
作者:Re Alvarez-Parmar 和 Vikram Venkataraman,2021 年 1 月 12 日
 
作者:Paula Phipps 和 Will Ochandarena,2020 年 12 月 18 日
 
作者:Shrinath Kurdekar,2020 年 11 月 23 日
 
作者:Harunobu Kameda,2020 年 8 月 17 日
 
作者:Luke Wells,2020 年 7 月 24 日
 
作者:Danilo Poccia,2020 年 6 月 16 日
 
在您的无服务器应用程序中将 Amazon EFS 用于 AWS Lambda
作者:James Beswick,2020 年 6 月 18 日
 
 
 
 
作者:Brandon Harris、Nicholas Anderson、Rahul Gupta 和 Sherief Melik,2020 年 4 月 22 日
 
作者:Martin Beeby,2020 年 4 月 8 日
 
作者:Will Ochandarena,2019 年 9 月 12 日
 
使用 Amazon ECS 和 Amazon EFS 部署有状态的 Docker 容器
 

资源

AWS re:Invent 2020:使用 AWS Lambda 和 Amazon EFS 实现应用程序现代化
AWS re:Invent 2020:借助使用 Amazon EFS 的容器实现应用程序现代化
AWS 云容器会议 - 容器上的持久性存储
AWS 容器日 - 使用 Amazon EFS 对 Amazon EKS 进行持久文件存储

准备好开始使用了吗?

了解有关 Amazon S3 的详情
将 Amazon EFS 与 Amazon ECS 和 AWS Fargate 结合使用的开发人员指南 – 第 1 部分
注册 AWS 账户
在您的无服务器应用程序中将 Amazon EFS 用于 AWS Lambda
阅读数据湖部署指南
用现代化应用程序开发重新定义您的业务交付价值的方式