AWS 上的现代数据架构

将数据湖、数据仓库和专用数据存储无缝集成

现代数据架构 – 工作原理

现代数据架构承认，所谓放之四海而皆准的分析方法最终会导致皆不准。它不是简单地将数据湖和数据仓库糅合在一起，而是将数据湖、数据仓库和专用数据存储集成，从而支持统一的监管和轻松的数据移动。借助 AWS 上的现代数据架构，客户可以快速构建可扩展的数据湖，使用丰富且专业的专用数据服务，通过统一的数据访问、安全性和治理确保合规，在不降低性能的前提下以低成本扩展系统，并轻松跨越组织边界共享数据，从而快速、敏捷、大规模地作出决策。

为何需要现代数据架构

数据量在以前所未有的速度增长，从 TB 级暴增至 PB 级，甚至 EB 级。传统的本地数据分析方法不具有充分的扩展能力，同时价格太贵，无法处理这样大量的数据。许多企业从多个孤岛提取所有的数据，然后将这些数据集中在一个位置（许多人将之称为数据湖），从而直接对这一数据进行分析和机器学习处理。而在另一些时候，这些企业将其他数据存储在专用数据存储中，用于分析并从结构化和非结构化的数据中快速获取见解。由于数据有重力，这种数据的移动方向可能是“由内向外”、“由外向内”、“沿周界”或者“跨界共享”。

从内向外
由外向内
沿周界
跨界共享
数据重力

从内向外
由内向外的数据移动

客户将数据存储在数据湖中，然后将其中的部分数据移动到某个专用数据存储以执行额外的机器学习或分析处理。

示例：来自 Web 应用程序的点击流数据可能会直接在数据湖中采集，然后将其中的一部分移动到某个数据仓库以满足每日报告之用。我们将这种概念称为由内向外的数据移动。
由外向内
由外向内的数据移动

客户将数据存储在数据仓库或数据库等专用数据存储中，然后将该数据移动到某个数据湖中以进行分析。

示例：客户从数据仓库中将给定地区产品销售的查询结果复制到他们的数据湖中，以使用机器学习对更大的数据集运行产品推荐算法。
沿周界
沿周界移动数据

将数据湖、数据仓库和专用数据存储无缝集成。

示例：客户可能将存储在其数据库中的产品目录数据复制到搜索服务中，以方便通过产品目录查询，并从该数据库下载搜索查询。
跨界共享
跨界共享式数据移动

客户使用现代数据架构来支持跨越逻辑或物理治理边界的治理和数据共享，从而建立符合业务线要求的数据域。
数据重力
数据重力

随着这些数据湖和专用存储中的数据量持续增长，由于数据具有重力，移动所有这些数据将变得越来越困难。而确保可以方便地将数据移动到需要的任何位置，具备恰当的控制，以支持分析和获取见解也同样重要。