跳至主要内容

什么是数据迁移?

什么是数据迁移?

数据迁移是指将数据从一个存储系统或计算环境移动到另一个存储系统或计算环境。组织收集并存储数据以进行分析。由于技术变化或组织想将运营转移到云端,他们必须在系统之间移动数据以实现集成可视化。数据迁移旨在高效、快速地移动数据,并避免中断业务运营。其中包括规划网络资源、数据安全、时间和传输方法等注意事项。数据迁移还可能涉及存储架构方面的考虑因素,以应对数据值缺失或数据类型变更的情况。

为什么数据迁移很重要?

组织数据驻留在物理存储、本地服务器或虚拟服务器、单台计算机,甚至是不同的应用程序中。数据还以许多不同的格式和类型存储。为了提高数据的可用性,同时提高数据管理和存储的效率,必须进行数据迁移。云数据迁移能为企业带来许多新优势。

实施现代应用程序架构

将数据迁移至云端为应用程序的云端部署奠定了基础。您可以对遗留系统进行现代化改造,将其重构为云原生应用程序,以利用微服务、容器化、无服务器架构等现代设计。应用程序现代化能提升灵活性并加速创新。

降低存储成本

云迁移可帮助组织省去维护本地基础设施的高昂成本。借助云存储,您只需按实际使用量付费,并且可以根据需求纵向扩展和缩减。对于数据归档、备份和恢复等使用场景,云存储同样具有极高的成本效益。

提高数据安全性

云包括加密、访问控制、记录、监控和自动事件响应等功能。组织只需配置云安全控件,无需设置完整的网络基础设施和安全软件 — 这些在传统模式下是满足数据监管要求的必要条件。此外,您还可以根据需求将敏感数据存储在特定地区。

增强分析

云数据仓库允许您将来自多个来源的数据集成到集中式环境中。您可以快速设置现代使用场景所需的数据质量检查和实时数据摄取。您还可以原生访问人工智能/机器学习服务,并可以快速为分析添加情报。

数据迁移有哪些类型?

数据从一个源系统迁移到另一个目标系统。这些系统的架构以及数据迁移的原因决定了数据迁移项目的类型。

存储迁移

存储迁移涉及在数据存储系统之间进行数据传输,以提升性能、可扩展性或成本效益。一个典型示例是将文件从基于 NTFS 的本地文件服务器迁移到 Amazon S3 等云存储解决方案。存储迁移通常是采用云技术的首要步骤之一,因为它能帮助企业将大量文档、媒体文件、备份和日志迁移到云端,而无需对现有应用程序进行修改。主要优势包括:

  • 减少硬件维护工作
  • 可以更轻松地从任何地方访问数据
  • 通过内置的云复制和版本控制功能提高冗余性。

数据库迁移

数据库迁移是指在数据库系统之间传输数据,涉及从本地数据库迁移到云解决方案。例如,某公司可能将其 SQL Server 数据库从内部数据中心迁移到 Amazon RDS 等云关系数据库服务。该过程通常包括数据转换、复制以及在目标环境中进行性能优化。

数据库迁移的主要驱动因素是可靠性和成本降低。云数据库提供自动备份、高可用性以及独立扩展计算和存储的能力。

应用程序迁移

应用程序迁移涉及将整个软件应用程序及其关联数据从本地数据中心迁移到云端。将遗留的 ERP 数据库软件迁移到同一应用程序的云版本或新的 SaaS 平台就是一个很好的例子。此过程可能需要更换平台,甚至重新构建应用程序以利用云原生功能。

应用程序迁移的好处包括提升性能、简化更新以及与其他云服务集成。组织能够实现技术堆栈的现代化改造,并通过提高速度和可用性来改善用户体验。

业务流程迁移

业务流程迁移指将支持业务功能的运营活动和工作流程迁移到云端。例如,某公司可能会将其客户服务运营从人工流程与本地 CRM 工具的混合模式迁移到基于云的 CRM 解决方案。这通常需要迁移支撑核心业务功能的数据、逻辑和集成点。

这类迁移背后的动机通常具有战略性:企业寻求更大的灵活性、更快的决策和更好的客户体验。通过在云环境中托管这些流程,公司可以更有效地访问实时数据并自动执行任务。

有哪些数据迁移策略?

接下来,我们将介绍一些可用于数据迁移的策略。

直接迁移

直接迁移是迁移数据的最简单方法。您可以保留数据的格式,无需进行任何转换,只需将其传输并存储在其他位置即可。尽管这是一种有效的策略,但不太适用于云迁移。以相同格式存储数据往往无法有效利用云存储的好处。

使用既有的工具

有许多数据迁移软件工具可以帮助组织成功完成迁移。从管理的角度来看,这些供应商和开源工具促进了企业数据迁移。

例如,AWS DataSync 是一项 Amazon Web Services(AWS)服务。可以帮助组织将其本地共享文件系统、对象存储或 Hadoop 集群转移到 AWS 云存储解决方案。

一次性或分阶段迁移

根据数据的情况,您可以一次性全部迁移或分阶段迁移。例如,您可以对大批量数据进行拆分,并在几周内夜间执行分块数据迁移。尽管一次性迁移所有数据最简单、最快速,但有时不可行。

寻求专家帮助

对于复杂的迁移,明智的做法是寻求外部专家的帮助。要成功将数据迁移到 AWS,您可以选择与我们的某位 AWS 合作伙伴建立联系。

在数据迁移之前需要考虑哪些因素?

数据迁移解决方案的每一个细节都需要精心规划。以下是需要考虑的一些因素。

在线或离线数据迁移

即使使用现代联网解决方案,迁移大量数据也可能既耗费时间又耗费资源。对于某些组织来说,通过运送物理存储设备来移动数据可能会更高效、更经济。这种策略也比通过更广泛的互联网发送数据更安全。

数据格式

将数据从一个位置迁移到另一个位置而不改变其格式通常很简单。例如,将数据库从现场 SQL Server 迁移到基于云的 SQL Server 无需更改格式或架构。但是,如果要在数据中心迁移之前将数据转换为新格式,则需要中间处理步骤。

运营中断

在迁移期间,系统停机或减速很常见。您可以将迁移安排在非高峰时段,以尽可能降低影响。许多组织推迟了数据迁移,因为他们无法承受任何系统停机。但是,这种方法将来可能会增加中断。

数据迁移的步骤是什么?

每个组织都以符合自身需求的定制方式来规划数据迁移。我们概述了您可以遵循的步骤,以提高流程的效率。

审查源数据

在迁移数据之前,必须先审查并描述现有数据。首先看一下数据存储格式及其当前环境。之后,在适用的情况下,在查看器中检查数据以确定其结构和属性。您需要将结构映射到新的数据系统。

确定目标

检查完源数据后,就可以根据源数据的结构和属性选择合适的目标数据存储解决方案。有时,您必须更改数据的结构、属性或格式以适应新的数据存储解决方案。对于数据集成,您需要重新组织源数据以适应目标数据的规格。

概括数据迁移策略

一旦确定了数据迁移的需求和目标,就需要制定执行计划。数据迁移计划是成功迁移的路线图。

要弄清楚数据迁移过程的运作方式,应该先确定以下事项:

  • 您需要的系统和数据迁移工具
  • 安全要求
  • 任何数据转换流程
  • 费用和人力资源需求
  • 数据迁移过程的大致时间表

数据迁移策略还应确定数据迁移对用户的潜在影响。这包括制定运营应急计划或创建一系列通信,提醒用户注意计划中的停机。

实施技术方面的内容

在运行数据迁移过程之前,必须先设置目标环境,包括安全性和权限。如果可行,创建一个数据迁移管道的代码,作为提供自动化、可重复使用的解决方案。您可以将该代码用于将来的类似迁移,也可以将其保留作为记录在案的过程证明。编码后的管道可作为实时数据迁移计划。

测试解决方案

测试对于降低与数据迁移过程相关的风险至关重要。测试类型取决于数据和解决方案。例如,您可以选择较小的数据块(例如虚拟数据),甚至是实时系统数据的副本进行测试。对于数据集成,请确保新的测试数据和现有数据相匹配。

运行数据迁移

成功完成测试后,您可以计划和运行数据迁移。为了在发生意外事件时进行故障排除,请确保整个过程中都能向合适的团队寻求帮助,即使是在下班后运行迁移。

数据迁移完成后,在新环境中检查实时数据,以检查其正确性并确保系统按预期运行。一旦新系统在给定时间内按预期运行,您就可以放心地停用旧环境。

有哪些数据迁移最佳实践?

以下是一些提高数据迁移过程效率和成本效益的建议。

清晰概述业务案例

商业案例必须明确且有保障,数据迁移项目才能成功。例如,假设用户已经在现有业务数据库上运行查询。该组织已经购买了新的数据分析解决方案,但到目前为止,只有三人接受了有关该解决方案的培训,培训将在一年内推出。如果该组织在完成培训之前尝试进行数据库迁移,可能会面临不利的业务结果。

仔细评测解决方案空间

与常规比较购买决策相比,新的数据解决方案可能需要更多的决策因素。例如,当组织将应用程序迁移到云端时,可能需要考虑在直接迁移之前对其架构进行容器化。容器化可以最大限度地发挥云基础设施的优势。这两种不同策略的目标解决方案也完全不同。

阅读有关容器化的信息 »

清理数据

虽然数据迁移前并不总是需要清理数据,但这会是一种很好的做法。这包括重复数据删除、删除不完整数据和删除不正确数据之类的任务。

完整记录流程

记录数据迁移项目支持收购、合并和合规活动等案例的审计报告。这还有助于收集内部经验教训和组织知识。

数据迁移面临哪些挑战?

鉴于数据在组织环境中的重要性,数据迁移非常复杂,需要仔细进行风险评测。接下来,我们将介绍一些常见的挑战。

业务连续性

在进行数据迁移时,应尽可能减少服务中断。如果无法避免停机或速度减慢,请安排在正常工作时间之外进行迁移。通过电子邮件、应用程序内通知和固定社交媒体帖子等渠道向用户发送大量警告。

迁移成本

在传输数据时,工具、人力资源、新的数据基础设施和停用旧数据基础设施等方面都会产生成本。在开始迁移之前,请确保为所有方面做好预算。务必将应用程序停机期间,因生产力损失或收入损失而导致的任何成本考虑在内。为了将迁移影响成本降至最低,请尝试减少中断,并确保所有受影响的用户提前知晓迁移事宜。

数据安全

要确保传输过程中和新环境中的数据安全,需要仔细规划。您应该在传输前执行复杂的加密,并为传输过程创建虚拟专用网络。在迁移之前,请对新环境的安全规则和权限进行全面的测试和评测。

新系统失效和故障

确保在所有场景下成功完成数据迁移是一项艰巨的任务。有时传输数据可能会失败或产生意想不到的结果。如果出现故障和失效,您需要实施应急计划。务必进行备份,以便在需要时可以回滚到旧的数据系统。

AWS 如何帮助您满足数据迁移需求?

Amazon Web Services(AWS)提供广泛的解决方案来帮助您迁移云数据。我们能帮助您找到满足要求所需的适当服务和资源并保证其安全,同时协助您运行流程本身。

例如,您可以使用以下数据迁移服务:

  • AWS DataSync,通过端到端安全性、简化的规划和数据移动管理,安全地发现数据并迁移到 AWS。 
  • AWS Direct Connect,以创建与 AWS 的专用网络连接。这样,您就可以使用多种加密选项,当数据在您的网络与 AWS 之间传输时保护其安全。
  • Amazon Data Firehose,以传输数据。您可以通过可靠方式将实时数据流加载到数据湖、数据仓库和分析服务中。
  • AWS Snowcone 用于部署边缘计算设备。Snowcone 设备体积小巧、坚固耐用,并且非常安全。可以随时随地提供边缘计算、数据存储和物理数据传输。适用于几乎或完全没有连接的严峻环境。
  • AWS Transfer Family 可轻松管理文件传输。您还可以对 Amazon Simple Storage Service(Amazon S3)或 Amazon Elastic File System(Amazon EFS)的传输工作流进行现代化改造。只需数小时即可使用现有的身份验证系统完成此操作。

立即创建账户,开始在 AWS 上使用数据迁移。