什么是数据清洗？
数据清洗是为机器学习（ML）和商业智能（BI）应用程序准备原始数据的一个必不可少的过程。原始数据可能会包含许多错误，这可能会影响 ML 模型的准确性，并导致预测不正确和出现负面的业务影响。
数据清洗的关键步骤包括修改和删除不正确和不完整的数据字段、识别和删除重复信息和不相关数据，以及更正格式、缺失值和拼写错误。
为什么数据清洗非常重要？
当一家公司使用数据来推动决策制定时，使用相关、完整和准确的数据至关重要。但是，数据集通常包含一些错误，必须在分析之前将它们删除。可能包括格式错误，例如错误的日期和货币，以及其他可能对预测产生重大影响的计量单位。异常值是一个特别值得关注的问题，因为它们总是会使结果发生偏差。其他常见的数据错误包括数据点损坏、信息缺失和印刷错误。干净的数据有助于生成高度准确的 ML 模型。
干净、准确的数据对于训练 ML 模型尤其重要，因为使用糟糕的训练数据集可能会导致部署模型做出错误预测。这是数据科学家花费大量时间为 ML 准备数据的主要原因。
如何验证您的数据是否“干净”？
数据清洗过程包含几个必需的步骤，旨在识别和修复问题条目。第一步是分析数据以识别错误。这可能涉及通过使用规则、模式和约束来识别无效值的定性分析工具。下一步是删除或更正错误。
常见的数据清洗步骤包括修复：
- 重复数据：删除重复信息
- 不相关数据：确定特定分析的关键字段并从分析中删除不相关数据
- 异常值：异常值会显著影响模型性能，因此请识别异常值并确定适当的操作
- 缺失数据：标记并删除或估算缺失数据
- 结构错误：纠正印刷错误和其他不一致，并使数据符合通用模式或约定
AWS 如何帮助进行数据清洗
Amazon SageMaker Data Wrangler 是 Amazon SageMaker 的一项功能，可让您快速轻松地为 ML 准备数据。借助 Amazon SageMaker Data Wrangler，您可以从单个可视界面完成数据准备工作流程的每个步骤，包括数据选择、清洗、探索、偏差检测和可视化。
使用 SageMaker Data Wrangler 的数据选择工具，您可以从各种数据来源中选择所需的数据，然后单击一下即可导入。导入数据后，您可通过数据质量和洞察报告自动验证数据质量，检测行重复、目标泄漏等异常情况。SageMaker Data Wrangler 包含 300 多种内置数据转换，因此您无需编写任何代码即可快速标准化、转换和组合各种功能。
要开始使用 SageMaker Data Wrangler，请浏览本教程。
