AWS Glue 功能

AWS Glue 可帮助您清理和准备数据以供分析，无需您成为 ML 专家。它的 FindMatches 功能可以删除重复，并找到互相之间不完全匹配的记录。例如，使用 FindMatches 工具查找您的餐厅数据库中的重复记录，例如一条记录是位于“121 Main St.”的“Joe's Pizza”，而另一条记录是位于“121 Main”的“Joseph's Pizzeria”。 FindMatches 会要求您将记录集标记为“匹配”或“不匹配”。 然后系统将会学习您将一对记录称为“匹配”的标准，并构建一个 ETL 作业，您可以使用它来查找数据库中的重复记录或匹配两个数据库中的记录。

如果您选择通过交互方式开发 ETL 代码，AWS Glue 将提供开发端点，以供您编辑、调试和测试其为您生成的代码。您可以使用自己喜欢的集成式开发环境（IDE）或笔记本电脑。您可以编写自定义读取器、写入器或转换程序，并将它们作为自定义库导入到 AWS Glue ETL 作业中。您还可以使用并与其他开发人员共享我们的 GitHub 存储库中的代码。 AWS Glue 交互式会话是作业开发的一种无服务器功能，它简化了数据集成作业的开发。工程师还可以使用 IDE 或他们选择的笔记本交互式地探索、实验和处理数据。

AWS Glue DataBrew 提供交互式、点击式可视化界面，使数据分析师和数据科学家等用户无需编写代码即可清理和标准化数据。您可以直接从数据湖、数据仓库和数据库（包括 Amazon Simple Storage Service（Amazon S3）、Amazon Redshift、Amazon Aurora 和 Amazon Relational Database Service（Amazon RDS））中轻松可视化、整理和标准化数据。您可以从超过 250 个内置转换中进行选择，以合并、转变和转置数据，并且可以通过将保存的转换直接应用于新传入的数据来自动执行数据准备作业。

AWS Glue 敏感数据检测有助于您在数据管道和数据湖中定义、识别和处理敏感数据。一旦确定，您就可以通过编辑、替换或报告个人身份信息（PII）数据和其他被认为敏感的数据类型来修复敏感数据。AWS Glue 敏感数据检测简化了敏感数据的识别和屏蔽，包括 PII，如姓名、社会保障号码、地址、电子邮件和驾照。

开发人员喜欢 Python，因为它易于使用且内置了丰富的数据处理库。他们希望使用熟悉的 Python 基元类型来处理大型数据集。AWS Glue for Ray 有助于数据工程师使用 Python 和热门的 Python 库来处理大型数据集。AWS Glue for Ray 使用 Ray.io，这是一种开源统一计算框架，可帮助将 Python 工作负载从单个节点扩展到数百个节点。AWS Glue for Ray 采用无服务器架构，因此无需管理基础设施。

AWS Glue 可帮助您创建自定义视觉转换，以便您可以定义、重用和共享 ETL 逻辑。 借助 AWS Glue Custom Visual Transforms，数据工程师可以编写和共享特定于业务的 Apache Spark 逻辑，从而减少对 Spark 开发人员的依赖，并使 ETL 作业保持最新状态变得更加简单。这些转换适用于您 AWS 账户中的所有作业，无论是可视的还是基于代码的。

AWS Glue 提供了生成式人工智能功能，以自动分析您的 Spark 作业和生成用来升级到更高版本的计划。这样就能够自动识别和更新脚本和配置，因此减少了保持 Spark 作业现代、安全和高性能时需要投入的时间和精力。

AWS Glue 利用生成式人工智能快速识别和解决 Spark 作业中的问题。它会分析作业元数据、执行日志和配置，以提供根本原因分析和可操作的建议，从而将故障排查时间从几天缩短到几分钟。

AWS Glue 交互式会话是作业开发的一种无服务器功能，它简化了数据集成作业的开发。通过 AWS Glue 交互式会话，数据工程师可以交互方式探索和准备数据。工程师还可以使用 IDE 或他们选择的笔记本交互式地探索、实验和处理数据。

AWS Glue Studio 作业笔记本可以最少的设置在 AWS Glue Studio 中提供无服务器笔记本，以便开发人员可以快速入门。使用 AWS Glue Studio 作业笔记本，您可以访问 AWS Glue 交互式会话的内置界面，在其中将笔记本代码保存并计划为 AWS Glue 作业。

AWS Glue 作业可以按计划、按需或基于事件进行调用。您可以并行启动多个作业，也可以跨作业指定依赖关系以构建复杂的 ETL 管道。AWS Glue 将处理所有的作业间依赖关系、筛选出不良数据并且在作业失败时进行重试。所有日志和通知都将推送到 Amazon CloudWatch，以便您可以从中心服务监控和获取提醒。 Amazon Managed Workflows for Apache Airflow（MWAA）是 Apache Airflow 的一项托管服务，让您可以使用当前熟悉的 Apache Airflow 平台来编排您的工作流程。使用 MWAA，您可以在复杂的 ETL 工作流中协调使用多种不同技术的多个 ETL 流程。

AWS Glue 与广泛使用的开源版本控制系统 Git 集成。您可以使用 GitHub 和 AWS CodeCommit 来维护对 AWS Glue 作业的更改历史记录，并应用现有的 DevOps 实践来部署它们。AWS Glue 中的 Git 集成适用于所有 AWS Glue 作业类型，无论是基于视觉对象还是代码。它包含与 GitHub 和 CodeCommit 的内置集成，还可以更简单地使用自动化工具（如 Jenkins 和 AWS CodeDeploy）来部署 AWS Glue 作业。

AWS Glue Flex 是一个灵活的执行作业类，您可以通过它将非紧急数据集成工作负载（如预生产作业、测试和数据负载）的成本降低高达 35%。AWS Glue 具有两个作业执行类：标准和灵活。标准执行类是需要快速启动作业和专用资源的时间敏感型工作负载的理想之选。AWS Glue 灵活执行类适合于开始和完成时间可能不同的非时效性作业。

AWS Glue 原生支持三个开源框架，包括 Apache Hudi、Apache Iceberg 和 Linux Foundation Delta Lake。这些框架可帮助您以事务一致的方式管理数据，以便在基于 Amazon S3 的数据湖中使用。

AWS Glue 数据质量自动监测功能可帮助您提高数据质量和信心。它会自动测量、监控和管理数据湖和管道中的数据质量。它还会自动计算统计数据、推荐质量规则、监控质量并在质量下降时向您发出警报，从而在影响您的业务之前更轻松地识别丢失、陈旧或不良数据。

AWS Glue 5.0 及更高版本为访问 Apache Iceberg、Apache Hudi 和 Delta 表的 Apache Spark 作业提供了表、列和行级别权限的访问控制，以帮助简化事务性数据湖的安全性和治理。

使用 AWS Glue Studio，您可以编写高度可扩展的 ETL 作业来进行分布式处理，而无需成为 Apache Spark 专家。在拖放作业编辑器中定义您的 ETL 过程，AWS Glue 可自动生成代码以提取、转换和加载您的数据。它使用 Scala 或 Python 语言生成代码，并针对 Apache Spark 环境对代码进行编写。

通过 AWS Glue 中的 Amazon Q 数据集成功能，使用自然语言创建 ETL 作业。只需描述您的数据转换需求，即可获得自动生成的 Apache Spark 代码，您可以自定义和测试此代码并将其作为生产作业进行部署。

AWS Glue 中的无服务器流 ETL 作业将持续使用流媒体源中的数据，包括 Amazon Kinesis 和 Amazon MSK，动态清理和转换数据，并在目标数据存储中在数秒钟内将其用于分析。使用此功能可以处理 IoT 事件流、点击流和网络日志等事件数据。AWS Glue 流式 ETL 作业可以丰富和聚合数据，加入批处理和流数据源，并运行各种复杂的分析和机器学习操作。

AWS Glue Data Catalog 支持 Apache Iceberg 表的优化。

AWS Glue Data Catalog 支持数据压缩，可压缩小型数据文件以减少存储使用量并提高读取性能。

AWS Glue Data Catalog 支持快照保留优化器，该优化器仅保留需要的快照，并删除旧的、不必要的快照及其相关底层文件，从而帮助管理存储开销。

AWS Glue Data Catalog 支持定期识别和删除不必要的未引用文件，从而释放存储空间。

AWS Glue Data Catalog 支持计算和更新 Iceberg 表中每一列的非重复值的数量（NDV），从而为处理大规模数据集的数据工程师和科学家提供更好的查询优化、数据管理和性能效率。

AWS Glue Data Catalog 支持 Parquet、ORC、JSON、ION、CSV 和 XML 等数据格式的列级统计数据。AWS 分析服务（如 Amazon Redshift 和 Amazon Athena）可使用这些列统计数据生成查询执行计划，并选择可提高查询性能的最佳计划。