什么是数据优化？
数据优化是指通过提高数据质量，使其在预期用途中发挥最大效用的过程。现代组织从数千个来源收集数据，用于人工智能、数据分析和数据驱动型决策。数据优化包括对数据进行排序和清理，以消除冗余、不一致及其他错误。它确保信息是相关的、有意义的和全面的，从而实现高质量的分析。
数据优化有哪些优势？
数据优化对分析准确性、资源效率和成本降低至关重要。
高效的资源使用率
处理数据需要存储、计算及内存资源。应用数据优化技术时，底层数据所需的存储空间和数据处理资源将减少。成本有效降低，效率得以提升。
高级分析功能
高级分析技术（包括机器学习（ML）和人工智能（AI））需要超越传统商业智能（BI）的数据见解。优化数据所生成的高质量、易访问且结构化的数据，使得实施更先进的数据分析技术成为可能。
最大限度地提高数据利用率
数据优化通过提升数据的可访问性、可用性和效率，最大限度地提高数据利用率。消除冗余、不一致和错误有助于提高数据利用率，从而扩展数据的内部和外部使用案例。
支持经济高效的可扩展性
经济高效的数据可扩展性是指增加数据量时，不会对容纳更大数据量所需的资源产生显著影响。通过实施数据优化，不仅可以最大限度地降低存储和处理成本，还能随着大数据量的增长，最大限度地减少存储和计算资源的消耗。基于云的技术（例如按需计算和适配实例）可进一步降低大数据处理成本。
数据优化的关键技术有哪些？
数据优化涵盖多种不同的优化策略，这些策略可相互结合以提高效率。
存储优化
存储优化是数据优化中的关键技术，可显著影响效率、成本和性能。优化数据存储所使用的技术包括索引、块存储和分层存储。
索引
索引使用元数据以加速数据检索，从而缩短数据查询时间。
数据块存储
数据块存储将原始数据划分为大小相等的块，这些块可分布存储于不同介质上，以最大限度地提高检索效率。
分层存储
分层存储根据特定规则和流程将数据分布于多种存储类型，从而优化大数据的存储效率。例如，频繁访问的数据可存储在高性能固态硬盘（SSD）上，而较少使用的数据则可存储在速度较慢、成本较低的存储设备（例如硬盘（HDD））中。
质量优化
质量优化包括验证数据一致性、识别错误以及确保数据处于最新状态。众多先进的数据质量工具可用于协助优化过程。优化数据质量的技术包括标准化、数据去重和验证。
大幅提升数据质量涉及以下方面：
- 利用数据转换技术，将不同来源和格式的数据整合为标准化形式。
- 确保数据集中不存在重复项。
- 确保数据完整且格式正确，通过删除不完整的数据或进行数据补全以实现数据完整性。
例如，电话号码应由 10 位数字组成，且不包含其他字符。
处理优化
处理优化技术包括并行处理、效率优化算法及缓存策略。
并行处理将数据处理任务分配到多个 CPU 上，从而大幅缩短计算时间。与其使用通用算法，不如使用针对特定数据任务定制的算法，这样既能降低 CPU 负载，又能加速数据处理。
缓存技术将常用的数据存储在最快的可用内存中，以最大限度地缩短检索时间。
查询优化
查询优化通过运用多种数据库技术，在数据检索过程中提升速度、效率及资源利用率。查询优化技术包括以下内容，具体取决于数据库的类型：
- 索引使用元数据以实现更快的检索
- 选择性筛选仅从数据库中提取必要的行
- 列投影仅从数据库中提取必要的列
- 查询缓存将常用的查询存储在快速内存中
- 并行查询将查询任务分配到多个 CPU 上
- 分区将大型数据库表划分为较小、针对特定查询的表
治理优化
数据治理优化确保数据以高效的方式满足所有安全性和合规性要求。此类数据优化始于建立可扩展且安全的合规策略、流程和框架。
数据治理优化可包括以下工具和技术：
- 自动化合规工具，用于执行法规合规性
- 数据生命周期管理自动化，用于自动创建、保留、存档和删除数据
- 数据质量框架，用于执行自动数据质量检查
- 基于角色的访问控制（RBAC），用于限制授权用户的访问权限
- 集中治理平台，用于数据管理策略和流程
- 训练和宣传计划，用于向利益相关者普及政策和最佳实践
组织如何实施数据优化？
数据优化过程需要战略规划、遵守内部政策以及持续改进。
实施数据优化技术之前，组织应评测其当前的数据、流程和技术。在此基础上，您将确定新的目标和关键绩效指标（KPI），以识别哪些数据优化技术适用，并证明其可衡量的结果。
建立数据治理
开发数据治理框架是数据优化的第一步。数据治理涵盖诸多程序和策略，用于确保数据处于适当状态，以支持业务举措和运营。数据治理明确数据使用的角色、责任和标准。
通过使用数据治理框架优化数据，组织可获得以下益处：提升可用性、增强可扩展性、降低风险、促进利益相关者协同以及确保合规性。
实施“数据即产品”方法
数据即产品（DaaP）方法将内部数据视为商业产品，采用相同的管理技术进行处理。DaaP 包含明确的产品负责人、界定的职责范围、经批准的数据供应商、既定的标准规范、成熟的设计模式、全面的文档记录、清晰定义的数据集和数字记录，以及贯穿整个数据生命周期的强健治理结构。
这种系统化的数据管理方法通过高质量、易于获取的 DaaP，助力内部和外部用户实现数据优化。
设置数据目录
数据目录对组织收集和处理的所有数据进行盘点，并将这些信息存储于一个位置：数据目录。建立数据目录可使数据更易于访问和发现，从而有助于数据优化。
建立数据目录可减少数据冗余、促进协作、增强可扩展性以及实现自动化。当元数据标准得到执行时，数据目录还将提升数据质量。
集成您的数据
数据优化的关键原则之一是可访问性。使任何数据可访问的最快捷、最简便且最经济高效的方式是将其迁移至云的集中位置。迁移至基于云的数据湖屋，既融合数据湖的灵活性，又兼具数据仓库的数据分析能力。
数据湖屋的优势包括统一的数据访问、可扩展性、增强的协作能力、互操作性以及高效的资源使用率。
设置自动化
为协助实施数据优化技术，借助合适的数据优化工具，几乎可以实现优化流程各个环节的自动化。选择合适的数据优化工具取决于具体的使用案例以及所需的优化技术。
自动化工具可用于数据优化，涵盖集成与 ETL、数据质量与清理、治理与目录管理、存储与压缩、数据处理、工作流程自动化与编排，以及数据库与查询优化等领域。
确保可扩展性
使用可扩展资源，确保组织充分利用多种数据优化技术提供的资源配置效率优势。基于云的数据存储、处理和分析可通过适配实例和按需处理，助力实现数据优化的可扩展性。
AWS 如何支持您的数据优化工作？
AWS 上的分析为每种数据优化要求提供一套全面的功能。从优化数据处理和 SQL 数据分析到流式传输、搜索和商业智能，AWS 通过内置治理功能提供无与伦比的性价比和可扩展性。选择已针对特定工作负载进行优化的专门服务，或者使用 Amazon SageMaker 简化、管理和优化您的数据和人工智能工作流程。
例如，您可以使用：
- Amazon Athena、Amazon EMR 和 AWS Glue，以分析、准备和集成用于分析和人工智能的数据。
- Amazon Data Firehose 和 Amazon Kinesis，以构建、扩展和运营实时流式处理数据管道，无需承担数据存储基础设施管理的负担。
- Amazon DataZone 和 Amazon SageMaker Catalogue，以对存储在 AWS、本地和第三方来源的数据进行分类、发现、共享和管理。
- Amazon Redshift 和 Amazon S3 数据湖，以访问、分析和优化数据湖屋、数据仓库和数据湖中的数据。
立即创建免费账户，开始在 AWS 上使用数据优化。