发布于: Jul 25, 2023

AWS Glue for Apache Spark 现在支持与 Snowflake 建立本地连接,这使用户无需安装或管理 Snowflake 连接器库即可从 Snowflake 读取和写入数据。此外,AWS Glue Studio 还为 Snowflake 来源和目标提供了新的可视化 ETL 功能,以便在为 Snowflake 创建数据管道时节省时间。AWS Glue Studio 让 ETL(提取、转换和加载)开发人员能够使用无代码的拖放式界面直观地转换数据。借助这个新的连接器和各种可视化功能,ETL 开发人员可以使用 AWS Glue 更有效地在 Snowflake 中读取和写入数据。

在使用 AWS Glue Studio 创建可视化 ETL 任务时,开发人员现在可以选择 Snowflake 表作为直接来源,也可以使用 Snowflake SQL 来定义自定义来源。写入 Snowflake 时,用户可以使用常用的 Snowflake 命令定义目标操作,包括删除、截断、插入、创建和合并。借助这些功能,ETL 开发人员可以在单个界面中使用 Snowflake 和 AWS Glue 处理各种数据情况。

首先,在 Glue Data Catalog 中创建新的 Snowflake 连接,然后在任务中添加 Snowflake 来源或目标。此功能已在推出 AWS Glue 的所有商业 AWS 区域提供。

要了解更多信息,请参阅 AWS Glue 文档。