发布于: Nov 4, 2021

AWS DataSync 现支持在 Hadoop 分布式文件系统(HDFS)和 Amazon S3、Amazon Elastic File System(EFS)或 Amazon FSx for Windows File Server 之间传输数据。借助 DataSync,您可以快速、轻松、安全地将文件和文件夹从 Hadoop 集群上的 HDFS 迁移至 AWS 存储。您还可以使用 DataSync 将 Hadoop 集群上的数据复制到 AWS 以实现业务连续性、将数据复制到 AWS 来填充数据湖,或在集群和 AWS 之间传输数据以进行数据分析和处理。

AWS DataSync 是一种在线数据传输服务,可为您提供一种简单的方式来自动处理并加速通过互联网或使用 AWS Direct Connect 复制数据的操作。DataSync 具有丰富的功能,包括内置计划、监控、加密和数据完整性验证。DataSync 简化了从 AWS 复制和向 AWS 复制数据的流程,并实现了这一流程的自动化,而且全部采用随用随付定价模式。除了支持 HDFS 外,DataSync 还可以在 Network File System(NFS)之间、服务器消息数据块(SMB)共享、自行托管式对象存储、AWS Snowcone、Amazon Simple Storage Service(Amazon S3)存储桶、Amazon Elastic File System(Amazon EFS)文件系统与 Amazon FSx for Windows File Server 文件系统之间复制数据。由于 DataSync 代理在 Hadoop 集群外运行,因此您可以加速迁移并简化集群与 AWS 之间的数据传输,而不会消耗计算和内存资源,也不会影响您的业务流程。

AWS DataSync 已在 23 个 AWS 区域推出。如需了解有关该服务的更多信息,请参阅 DataSync 文档,也可以登录 AWS DataSync 控制台开始使用。