AWS DataSync 是一项安全的在线数据传输服务,它可以简化、自动执行和加速向 AWS 存储服务和从 AWS 存储服务复制数 TB 数据的过程。轻松迁移或复制大型数据集,无需构建自定义解决方案或监督重复性任务。 DataSync 支持以下存储位置类型:网络文件系统(NFS)共享、服务器消息块(SMB)共享、Hadoop Distributed File Systems(HDFS)、自行管理的对象存储、Google Cloud Storage、Azure Files、AWS SnowconeAmazon Simple Storage Service(Amazon S3)Amazon Elastic File System(Amazon EFS)文件系统、Amazon FSx for Windows File Server 文件系统、Amazon FSx for Lustre 文件系统和 Amazon FSx for OpenZFS 文件系统。

专门构建的网络协议

AWS DataSync 采用 AWS 设计的传输协议(与存储协议分离)来加快数据移动。该协议针对通过网络发送数据的方式、时间和数据内容进行优化。DataSync 执行的一些网络优化包括增量传输、在线压缩、稀疏文件检测以及在线数据验证和加密。

本地 DataSync 代理与云中的服务组件之间的连接是多线程的,可最大限度提高整个广域网 (WAN) 的性能。单个 DataSync 任务能够在您的本地环境和 AWS 之间的网络链接上完全实现 10Gbps。

自动管理基础设施

DataSync 消除了在编写、优化和管理自己的复制脚本或部署和调整重量级商业传输工具时所面临的诸多基础设施和管理挑战。简化您的基础设施,使用内置监控保持控制,以及通过重试机制确保数据传输成功。

带宽优化和控制

热数据或冷数据的传输不应妨碍您的业务。DataSync 配备精细控制,以优化带宽消耗。将非工作时间的传输速度调整到最高 10 Gbps,并在其他地方需要使用网络时设置限制。

数据传输计划

DataSync 随附内置的任务机制,您可以通过该机制定期运行数据传输任务,以检测更改并将其从源存储系统复制到目标存储系统。您可以使用 AWS DataSync 控制台或 AWS Command Line Interface (AWS CLI) 来计划任务,而不必编写脚本来管理重复的传输。任务计划会根据您配置的计划按照 AWS 控制台中直接提供的每小时、每天或每周选项来自动运行任务。

数据加密和验证

您的所有数据在 DataSync 代理和 DataSync 服务之间使用传输层安全性协议(TLS)传输时都会加密。DataSync 支持对 Amazon S3 桶使用默认静态加密。DataSync 还支架对 Amazon EFS、Amazon FSx for Windows File Server、Amazon FSx for Lustre 和 Amazon FSx for OpenZFS 进行静态和传输中数据加密。

DataSync 可确保数据在传输过程中完好无损。对于每次传输,服务都会在动态和静态时执行完整性检查。这些检查可确保写入目标的数据与从源中读取的数据匹配,从而验证一致性。

文件系统集成和元数据保留

DataSync 代理使用行业标准的 NFS 和 SMB 协议连接到现有的存储系统,或作为 HDFS 客户连接到 Hadoop 集群,或使用 Amazon S3 应用程序编程接口(API)连接到您自行管理的或云对象存储。代理能够快速传输数据并将其写入指定的 Amazon S3 存储桶、Amazon EFS 文件系统、Amazon FSx for Windows File Server 文件系统、Amazon FSx for Lustre 文件系统或 Amazon FSx for OpenZFS 文件系统。

在 Amazon S3、Amazon EFS、Amazon FSx for Windows File Server、Amazon FSx for Lustre 或 Amazon FSx for OpenZFS 之间复制对象和/或数据时,会保留文件权限和元数据。

将数据复制到 Amazon S3 时,DataSync 会自动以 1:1 的关系将每个文件转换为单个 S3 对象,并将 NFS 共享或 HDFS 中的 POSIX 元数据保留为 Amazon S3 对象元数据。将包含文件系统元数据的对象复制回文件格式时,将还原 DataSync 复制到 S3 的原始文件元数据。

与 AWS 基础设施和管理服务集成

DataSync 可与 AWS 安全性、监控和审计服务在本地协同工作,以简化数据移动,并为您的 IT、存储和开发运维 (DevOps) 团队提供一致的管理体验。除了可以与 Amazon S3、Amazon EFS、Amazon FSx for Windows File Server、Amazon FSx for Lustre 和 Amazon FSx for OpenZFS 集成之外,DataSync 还支持 AWS Virtual Private Cloud (VPC) 终端节点(由 AWS PrivateLink 提供支持),以便将文件直接迁移到 Amazon VPC 中。与其他 AWS 服务一样,您可以使用 AWS Identity and Access Management (IAM) 来安全地管理对 DataSync 的访问。同样,您可以配置 IAM 角色来控制访问您的 Amazon S3 存储桶的服务。

通过 Amazon CloudWatch 和 AWS CloudTrail 进行监控和审计

借助 Amazon CloudWatch,您可以监控当前正在进行的任何 DataSync 传输的状态,并检查以前数据传输的历史记录。您可以利用 CloudWatch 指标查看已复制的文件数和数据量。查阅 CloudWatch Logs 以了解在给定时间传输的各个文件的信息,以及 DataSync 完整性验证的结果。这简化了监控、报告和故障排查过程,使您能够为利益相关者提供及时的更新。此外,在传输任务完成时将触发 CloudWatch Events,从而实现依赖工作流的自动化。出于审计目的,您可以查阅 AWS CloudTrail,它会记录 DataSync 执行的所有操作。

按实际使用量付费的定价模式

使用 AWS DataSync,您只需以按 GB 计算的固定费率为服务复制的数据付费。不需要软件许可证、合同、维护费用、开发周期或硬件。与手动构建、操作和优化自己的高性能脚本传输相比,这可以降低总体拥有成本 (TCO),还提供比购买和运行商业传输工具更低的总成本。

详细了解 DataSync 定价
详细了解 DataSync 定价

DataSync 定价很简单,基于传输的数据量计价。

了解更多 
创建免费账户
注册免费账户

立即享受 AWS 免费套餐。 
 

注册 
开始在控制台中进行构建
开始在控制台中进行构建

在 AWS 控制台中开始使用 DataSync 进行构建。

登录