发布于: Jan 16, 2020

AWS Glue 现在支持三种新的转换方式(清除、转换和合并),可以帮助您在 Apache Spark 应用程序中扩展您的提取、转换和加载 (ETL) 逻辑。您可以使用“清除”方式来删除文件、分区或表,并快速优化 S3 上的数据集。

您可以使用“转换”方式将文件、分区或表迁移到较低的 S3 存储类。您还可以使用 AWS Glue S3 存储类排除项来排除在您的 Glue ETL 作业中从特定 S3 存储类中读取文件或分区。您可以使用“合并”方式来合并多个 Glue 动态框架,这些框架表示基于主键的 S3、Redshift、Dynamo 或 JDBC 源中的数据。要了解更多信息,请访问清除转换合并文档。

提供 AWS Glue 的所有地区均提供这一功能。