AWS DataSync 是一项在线数据移动和发现服务,可简化和加速向 AWS 的数据迁移,并帮助您在本地存储、边缘站点、其他云和 AWS 存储之间快速安全地移动数据。
发现
AWS DataSync Discovery(预览版)通过让您了解本地存储性能和利用率,并提供将数据迁移到 Amazon FSx for NetApp ONTAP、Amazon FSx for Windows File Server 和 Amazon Elastic File System(EFS) 等 AWS 存储服务的建议,帮助您简化迁移规划并加快向 AWS 的数据迁移。 DataSync Discovery 使您能够通过自动数据收集和分析更好地了解您的本地存储性能和容量使用情况,从而能够快速识别要迁移的数据并使用生成的建议来选择符合您的性能和预算需求的 AWS 存储服务。
数据移动
对于在线数据传输,AWS DataSync 可简化、自动化和加速本地存储、边缘站点或其他云与 AWS 存储服务之间以及不同 AWS 存储服务之间的大量数据复制。DataSync 可以在网络文件系统(NFS)共享、服务器消息块(SMB)共享、Hadoop Distributed File Systems(HDFS)、自行管理的对象存储、Google Cloud Storage、Azure Files、AWS Snowcone、Amazon Simple Storage Service(Amazon S3)、Amazon Elastic File System(Amazon EFS)文件系统、Amazon FSx for Windows File Server 文件系统、Amazon FSx for Lustre 文件系统、Amazon FSx for OpenZFS 文件系统和 Amazon FSx for NetApp ONTAP 文件系统之间复制数据。
AWS DataSync 提供以下数据移动功能。
专门构建的网络协议
AWS DataSync 采用 AWS 设计的传输协议(与存储协议分离)来加快数据移动。该协议针对通过网络发送数据的方式、时间和数据内容进行优化。DataSync 执行的一些网络优化包括增量传输、在线压缩、稀疏文件检测以及在线数据验证和加密。
本地 DataSync 代理与云中的服务组件之间的连接是多线程的,可最大限度提高整个广域网 (WAN) 的性能。单个 DataSync 任务能够在您的本地环境和 AWS 之间的网络链接上完全实现 10Gbps。
带宽优化和控制
热数据或冷数据的传输不应妨碍您的业务。DataSync 配备精细控制,以优化带宽消耗。将非工作时间的传输速度调整到最高 10 Gbps,并在其他地方需要使用网络时设置限制。
数据传输计划
DataSync 随附内置的任务机制,您可以通过该机制定期运行数据传输任务,以检测更改并将其从源存储系统复制到目标存储系统。您可以使用 AWS DataSync 控制台或 AWS Command Line Interface (AWS CLI) 来计划任务,而不必编写脚本来管理重复的传输。任务计划会根据您配置的计划按照 AWS 控制台中直接提供的每小时、每天或每周选项来自动运行任务。
数据加密和验证
您的所有数据在 DataSync 代理和 DataSync 服务之间使用传输层安全性协议(TLS)传输时都会加密。DataSync 支持对 Amazon S3 桶使用默认静态加密。DataSync 还支持 Amazon EFS 和 Amazon FSx 的静态数据和传输中数据加密。
DataSync 可确保数据在传输过程中完好无损。对于每次传输,服务都会在动态和静态时执行完整性检查。这些检查可确保写入目标的数据与从源中读取的数据匹配,从而验证一致性。
文件系统集成和元数据保留
DataSync 代理使用行业标准的 NFS 和 SMB 协议连接到现有的存储系统,或作为 HDFS 客户连接到 Hadoop 集群,或使用 Amazon S3 应用程序编程接口(API)连接到您自行管理的或云对象存储。代理能够快速传输数据并将其写入指定的 Amazon S3 存储桶、Amazon EFS 文件系统、Amazon FSx for Windows File Server 文件系统或 Amazon FSx 文件系统。
在 Amazon S3、Amazon EFS、Amazon FSx for Windows File Server、Amazon FSx for Lustre、Amazon FSx for OpenZFS 或 Amazon FSx for NetApp ONTAP 之间复制对象和/或数据时,会保留文件权限和元数据。
将数据复制到 Amazon S3 时,DataSync 会自动以 1:1 的关系将每个文件转换为单个 S3 对象,并将 NFS 共享或 HDFS 中的 POSIX 元数据保留为 Amazon S3 对象元数据。将包含文件系统元数据的对象复制回文件格式时,将还原 DataSync 复制到 S3 的原始文件元数据。
与 AWS 基础设施和管理服务集成
DataSync 可与 AWS 安全性、监控和审计服务在本地协同工作,以简化数据移动,并为您的 IT、存储和开发运维(DevOps)团队提供一致的管理体验。除了可以与 Amazon S3、Amazon EFS、Amazon FSx 集成之外,DataSync 还支持 AWS Virtual Private Cloud(VPC)端点(由 AWS PrivateLink 提供支持),以便将文件直接迁移到 Amazon VPC 中。与其他 AWS 服务一样,您可以使用 AWS Identity and Access Management(IAM)来安全地管理对 DataSync 的访问。同样,您可以配置 IAM 角色来控制访问您的 Amazon S3 存储桶的服务。
通过 Amazon CloudWatch 和 AWS CloudTrail 进行监控和审计
借助 Amazon CloudWatch,您可以监控当前正在进行的任何 DataSync 传输的状态,并检查以前数据传输的历史记录。您可以利用 CloudWatch 指标查看已复制的文件数和数据量。查阅 CloudWatch Logs 以了解在给定时间传输的各个文件的信息,以及 DataSync 完整性验证的结果。这简化了监控、报告和故障排查过程,使您能够为利益相关者提供及时的更新。此外,在传输任务完成时将触发 CloudWatch Events,从而实现依赖工作流的自动化。出于审计目的,您可以查阅 AWS CloudTrail,它会记录 DataSync 执行的所有操作。
按实际使用量付费的定价模式
使用 AWS DataSync,您只需以按 GB 计算的固定费率为服务复制的数据付费。不需要软件许可证、合同、维护费用、开发周期或硬件。与手动构建、操作和优化自己的高性能脚本传输相比,这可以降低总拥有成本(TCO),还提供比购买和运行商业传输工具更低的总成本。
使用 AWS DataSync Discovery,您可以运行发现作业长达 31 天并免费接收建议。DataSync Discovery 将收集的数据和相关建议在作业完成后保留 60 天。