开始使用
请求获取更多信息

数据是成功的应用程序部署、分析工作流和机器学习创新的基石。将数据移到云中时,您需要了解针对不同使用案例的数据移动位置、所移动数据的类型以及可用的网络资源等因素。AWS 提供各种服务和合作伙伴工具来帮助您迁移数据集,无论数据集是文件、数据库、系统映像、块卷还是磁带备份。

WWPS_Migrating-Data_6-2019_thumb
助您完成数据迁移:将数据迁移到 AWS 的最佳实践 - 2019 年公共部门峰会

AWS 创建的数据传输服务套件包含许多可帮助您更有效地迁移数据的方法。这些方法可分为以下两类:

  • 在线数据传输和混合云存储。 通过这些方法,可以轻松创建指向 VPC 的网络链接,将数据传输到 AWS,或将 S3 用于包含现有本地应用程序的混合云存储。这些服务可以帮助您一次性迁移大型数据集,并将现有处理流程(如备份和恢复或持续的数据流)直接与云存储集成。
  • 采用离线方式将数据迁移到 Amazon S3。永远不要低估满载 100PB 硬盘的半挂卡车或 100TB 手提箱大小的设备的带宽。这些使用适合运输的加固设备的离线数据迁移服务非常适合移动大型存档、数据湖,或者无法在所需的时间范围内通过网络传输带宽和数据量的情况。
data-migration-256px

如果您需要: 请考虑:

AWS 云存储服务的在线链接,以便:

 

将您的数据中心与网络链接直接私密地连接到 AWS 区域中的 VPC

AWS Direct Connect

将文件系统数据复制到 Amazon S3 或 Amazon EFS

AWS DataSync

将现有的本地应用程序连接到云存储
 - 对于在 Amazon S3 中存储为对象的文件
 - 对于磁带备份
 - 对于块卷

 

AWS Storage Gateway
文件网关
磁带网关
卷网关
(或)
合作伙伴产品

快速安全地将数据库迁移至 AWS,同时最大限度减少停机时间

AWS Database Migration Service

利用其数据将运行中的系统映像迁移到 Amazon EC2

CloudEndure

在很长的地理距离内从 Amazon S3 读取数据并将数据写入其中

Amazon S3 Transfer Acceleration

收集并注入多个流式处理数据源 

Amazon Kinesis
Data Firehose

在尽可能不中断的情况下将备份或存档数据推送到云中

技术合作伙伴关系
一种采用离线方式大规模迁移数据的方法,以便:  

将 PB 级数据批量传输到云中

AWS Snowball

将 PB 级数据物理传输到具有板载存储和计算功能的设备中

AWS Snowball Edge

将数十 PB 到数 EB 的数据批量迁移到云中

AWS Snowmobile

您还可以组合运用服务以实现最佳结果。请参考以下示例:

  • AWS DataSync 用于有效数据,AWS Snowball Edge 用于存档数据集
  • 多个 Snowball 并行运行
  • Direct Connect 和 S3 CLI
  • Direct Connect 与 APN 存储技术合作伙伴
  • Direct Connect 和 DataSync
  • AWS Storage Gateway(磁带网关)和 APN 技术备份合作伙伴,用于虚拟磁带备份。

需要我们针对您的具体情况施以援手吗? 让我们帮助您吧。

联系销售人员

这些迁移方法会增强或更换 Internet,以便将数据从您当前的位置直接迁移至 Amazon 的数据中心。此方法不支持开发工作或 API,并且传输可能会影响您现有的内部流程。

CDM_DirectConnect

了解有助于将内部技术扩展至云的 Direct Connect 合作伙伴服务包

客户可选择一个 Direct Connect 专用物理连接来加速其数据中心与我们的数据中心之间的网络传输。

AWS Direct Connect 让您可以在您的网络与任何一个安装了 AWS Direct Connect 的地点之间建立一个专用网络连接。使用业内规定的 802.1q VLAN 标准,可将这一专线联结分割成多个虚拟接口。这样您可通过同一个连接访问共享资源(如存储在使用公有 IP 地址空间的 Amazon S3 中的对象)和专有资源(如使用私有 IP 空间在 Amazon Virtual Private Cloud (VPC) 中运行的 Amazon EC2 实例),同时又能在共享和专用环境之间保持网络隔离。您可随时重新配置虚拟接口,满足不断变化的需求。

了解更多有关 Direct Connect 服务的信息。


SiteMerch-Sync_Editorial

AWS DataSync 是一种数据传输服务,使您能够轻松地在本地存储和 Amazon S3 或 Amazon Elastic File System (Amazon EFS) 之间自动迁移数据。DataSync 自动处理与数据传输相关的许多任务,可减慢迁移速度或增加 IT 操作负担,包括运行您自己的实例、解决加密、管理脚本、网络优化和数据完整性验证。您可以使用 AWS DataSync 传输数据,速度最高可比开源工具快 10 倍之多。您可以使用 DataSync 将数据通过 AWS Direct Connect 或 Internet 链接复制到 AWS,以实现一次性数据迁移、重复数据处理工作流以及用于数据保护和恢复的自动复制。

详细了解 DataSync


CDM_StorageGateways

网关位于内部,用于将您的环境链接至 AWS 云。如果出于性能或合规性方面的原因而需要将部分存储置于本地,但另外一些存储可卸载至 S3,那么存储网关就是针对这种混合情景的理想解决方案。

可以考虑将 AWS Direct Connect 服务与您的网关结合使用以确保实现最优性能。

AWS Storage Gateway 服务简化了 AWS 存储的内部采用。您现有的应用程序可通过行业标准数据块和磁带存储协议连接到本地网关,以在 Amazon S3 和 Amazon Glacier 中存储数据。

  • 数据将被压缩并安全传输至 AWS。
  • 文件网关为本地应用程序提供 SMB 或 NFS 文件共享,以将文件存储为 S3 对象,并使用传统文件接口访问它们。
  • 卷网关在本地存储或缓存块卷,并将时间点备份用作 EBS 快照。这些快照可能会在云中恢复。
  • 磁带网关虚拟磁带库 (VTL) 配置与您现有的备份软件无缝集成,可在 Amazon S3 中实现经济高效的磁带替换,并在 S3 Glacier 和 S3 Glacier Deep Archive 中进行长期存档。

了解更多有关 AWS Storage Gateway 的信息。

AWS 已经就缩小传统备份和云之间差距的物理网关设备与很多行业供应商开展了合作。将现有的内部数据链接至 Amazon 的云,可以在不影响性能且不保存现有备份目录的情况下迁移数据。

  • 无缝集成至现有基础设施
  • 可提供重复数据删除、压缩、加密或 WAN 加速功能
  • 在本地缓存最近的备份,通过文件库将所有数据移至 AWS 云

了解更多与网关合作伙伴关系有关的更多信息。


Desktop_S3-transfer-acceleration

Amazon S3 Transfer Acceleration 加快了通过公共 Internet 向 Amazon S3 传输数据的速度。不管距离多远或 Internet 状况如何,您都可以最大限度地利用带宽,并且无需提供特殊的客户端或专有网络协议。您只需更改与 S3 存储桶搭配使用的终端节点,即可自动实现加速。

这非常适用于在全球各地处理的重复任务(例如,媒体上传、备份以及定期发送到中央位置的本地数据处理任务)。

了解更多有关 Transfer Aceleration 的信息


CDM_KinesisFirehose

Amazon Kinesis Data Firehose 是将流数据加载到 AWS 的最简单方式。它可以捕获流数据并自动将其加载到 Amazon S3Amazon Redshift 中,从而可以借助当前在使用的现有商业智能工具和仪表板进行近乎实时的分析。这是一项完全托管的服务,可以自动扩展以匹配数据吞吐量,并且无需持续管理。它还可以在加载数据前对其进行批处理、压缩和加密,从而最大程度地减少目的地使用的存储量,同时提高安全性。您可以从 AWS 管理控制台轻松创建 Firehose 传输流,通过点击几下对其进行配置,以及开始将数据从成千上万个要不断加载到 AWS 的数据源发送到数据流中 – 所有这些操作只需几分钟即可完成。

了解更多有关 AWS Kinesis Data Firehose 的信息。


CDM_TechPartnerConnectors_v2

Amazon 已与多家行业供应商建立合作伙伴关系,这使您能够非常轻松地将备份和存档迁移至云中。迁移数据最简单的方式应该是通过嵌入现有备份软件中的 S3 连接器。这种方法最明显的优势是备份目录可保持一致,使您可以对跨磁盘、磁带和云的所有作业保持监控权和控制权。


有时,没有足够的带宽甚至网络来进行数据传输或迁移,您需要按计划执行数据中心关闭或远程站点数据传输作业。下面是确保在这个过程中数据持续移动的选项。

云计算优势:无需再猜测容量图标

Snowball 是一种 PB 级数据传输解决方案,它使用安全设备与 AWS 之间传输大量数据。使用 Snowball 可以解决进行大规模数据传输时遇到的常见难题,包括网络带宽有限、传输时间长和安全问题。使用 Snowball 传输数据简单、快速且安全。

了解更多有关 Snowball 服务的信息。


CDM_ImportExport-Snowball_v3

Snowball Edge 是一种具有板载存储和计算功能的 PB 级数据传输服务。您可以使用 Snowball Edge 将大量数据移入和移出 AWS、将其用作大型本地数据集的临时存储层,或者在远程或离线位置支持本地工作负载。

了解更多有关 Snowball Edge 的信息。


云计算优势:无需再猜测容量图标

Snowmobile 是一个 EB 级数据传输解决方案,就像使用安全的 40 英尺集装箱半挂车,将大量数据传入和传出 AWS。使用 Snowmobile 可以解决进行大规模数据传输时会遇到的常见难题,包括网络费用高、传输时间长和安全问题。利用 Snowmobile 传输数据可通过定制合作实现,快速安全,且成本仅为高速 Internet 的五分之一。

了解更多有关 Snowmobile 服务的信息。


AWS 还提供简单的脚本或 CLI 工具,便于您将数据从站点移到 Amazon 的云存储中。

  • rsync。客户可使用此开源工具以及第三方文件系统工具,将数据直接拷贝到 S3 存储桶中。
  • S3 命令行界面 客户使用 Amazon S3 CLI 编写命令,以将数据直接移至 S3 存储桶中。
  • Glacier 命令行界面。 客户使用 Amazon Glacier CLI 将数据移至 Glacier 文件库中。

大部分项目都面临数据传输的严酷现状。 如何在最大限度减少中断、成本和所用时间的情况下,轻松地从当前位置移至新的云环境? 要移动 GB、TB 或 PB 量级的数据,最明智的方法是什么?

潜在的根本问题是:可以迁移多少数据?迁移速度和迁移距离是多少? 使用以下公式可得出最理想情况下的结果:

天数 =(总字节数)/(每秒兆位数 * 125 * 1000 * 网络使用率 * 60 秒钟 * 60 分钟 * 24 小时)

例如,如果您要使用 T1 连接 (1.544Mbps) 将 1TB(1024 * 1024 * 1024 * 1024 字节)数据移入或移出 AWS,那么从理论上讲,通过您的网络连接(80% 网络使用率)加载该数据所需的时间为至少 82 天。

别紧张,我们对此驾轻就熟。我们发现客户通常会采用两种方法完成这一过程:使用非常基础的非托管迁移工具来迁移数据,或者选择上面提到的一种 Amazon 服务套件。

一般而言,为了获得最佳结果,我们建议采用以下方法:

连接 数据规模 方式
小于 10Mbps 小于 500GB 非托管
大于 10Mbps 大于 500GB 托管服务