AWS Glue

简单、可扩展的无服务器数据集成

AWS Glue 是一项无服务器数据集成服务,它简化了发现、准备和合并数据以进行分析、机器学习和应用程序开发的工作。AWS Glue 提供数据集成所需的全部功能,使您只需几分钟时间便可以开始分析数据并将数据投入使用,而不用耗时几个月。

数据集成是指准备和合并数据以进行分析、机器学习和应用程序开发的过程。该过程包含多项任务,例如从各种来源发现和提取数据,丰富、清理、标准化和合并数据,以及在数据库、数据仓库和数据湖中加载和组织数据。这些任务通常由各自使用不同产品的不同类型的用户来处理。

AWS Glue 为您提供可视化界面和基于代码的界面来简化数据集成。用户使用 AWS Glue 数据目录可以轻松找到并访问数据。数据工程师和 ETL(即提取、转换和加载)开发人员只需在 AWS Glue Studio 中点击几次,便能够以可视化的方式创建、运行和监控 ETL 工作流程。数据分析师和数据科学家可以使用 AWS Glue DataBrew 以可视化方式丰富、清理和标准化数据,而无需编写代码。使用 AWS Glue Elastic 视图,应用程序开发人员可以使用熟悉的结构化查询语言 (SQL),在不同数据存储之间合并和复制数据。

AWS Glue 简介 (1:47)

优势

更快的数据集成

您组织中的不同小组可以使用 AWS Glue 共同执行数据集成任务,包括提取、清理、标准化、合并、加载和运行可扩展的 ETL 工作流程。 通过这种方式,您可以将分析数据并将数据投入使用所需的时间从几个月缩短到几分钟。

大规模自动化数据集成

AWS Glue 可以自动执行数据集成所需的很多工作。AWS Glue 可抓取您的数据源,识别数据格式并提供存储数据的架构建议。它可以自动生成代码来运行数据转换和加载过程。您可以使用 AWS Glue 轻松运行和管理数以千计的 ETL 作业,或者使用 SQL 跨多种数据存储合并和复制数据。

无需管理服务器

AWS Glue 在无服务器环境中运行。没有要管理的基础设施,且 AWS Glue 会预置、配置和扩展运行数据集成作业所需的资源。您只需为您的作业在运行时使用的资源付费。

使用案例


生成事件驱动型 ETL(提取、转换和加载)管道

AWS Glue 可以在新数据到达时运行您的 ETL 作业。例如,新数据在 Amazon S3 中可用后,您可以使用 AWS Lambda 函数来触发 ETL 作业,使其运行。您也可以在 AWS Glue 数据目录中将这个新的数据集注册为 ETL 作业的一部分。

事件驱动型 ETL 管道的图表

创建统一目录以跨多个数据存储查找数据

您可以使用 AWS Glue 数据目录跨多个 AWS 数据集快速发现和搜索数据,而无需移动数据。数据存入目录后,您可立即使用 Amazon Athena、Amazon EMR 和 Amazon Redshift Spectrum 对其进行搜索和查询。

在 AWS Glue 中创建和运行 ELT 作业

不必编写代码即可创建、运行和监控 ETL 作业

AWS Glue Studio 便于以可视化方式创建、运行和监控 AWS Glue ETL 作业。您可以通过拖放式编辑器编写用于移动和转换数据的 ETL 作业,AWS Glue 会自动生成代码。您随后可以使用 AWS Glue Studio 的作业运行控制面板来监控 ETL 执行,并确保您的作业按预期运行。在此了解有关 AWS Glue Studio 的更多信息。

适用于 ETL 开发人员的 ETL 工具

通过自助式可视化数据准备来探索数据

AWS Glue DataBrew 使您可以直接探索和试验来自数据湖、数据仓库和包括 Amazon S3、Amazon Redshift、AWS Lake Formation、Amazon Aurora 和 Amazon RDS 在内的数据库的数据。您可以在 AWS Glue DataBrew 中从超过 250 个预构建的转换中进行选择,以自动执行数据准备任务、如筛选异常、标准化格式和校准无效值。当数据准备好后,您可以立即使用它进行分析和机器学习。在此了解有关 AWS Glue DataBrew 的更多信息。

可视化数据清理和数据标准化

生成具体化视图以合并和复制数据(预览版)

AWS Glue Elastic 视图使您可以使用熟悉的 SQL 语言创建具体化视图。使用这些视图可以访问和合并来自多个源数据存储的数据,并保持合并的数据处于最新状态且可从目标数据存储访问。AWS Glue Elastic 视图预览版目前支持 Amazon DynamoDB 作为数据源,随后会支持 Amazon Aurora 和 Amazon RDS。当前支持的目标包括 Amazon Redshift、Amazon S3 和 Amazon Elasticsearch Service,随后会支持 Amazon Aurora、Amazon RDS 和 Amazon DynamoDB。在此了解有关 AWS Glue Elastic 视图的更多信息。

可视化数据清理和数据标准化

新增功能

日期
  • 日期
1
AWS Glue 功能
查看 AWS Glue 的功能

详细了解 AWS Glue 的主要功能。

了解更多 
注册 AWS 账户
注册免费账户

立即享受 AWS 免费套餐。 

注册 
开始在控制台中构建
开始在 AWS Glue 中构建

在 ETL 可视化界面中,使用 AWS Glue 开始构建。

登录 
contactus-chat

售前在线咨询
云计算专家一对一解答您的问题与需求

contactus-phone

专属热线咨询
1010 0866 早9:00-晚8:00 (法定假期除外)

contactus-form

联系销售人员
填写表单,AWS 云计算专家将尽快与您联系。