AWS Glue 现支持基于 Apache Iceberg 的实体化视图
AWS Glue 现支持实体化视图,该全新功能可帮助数据团队更轻松地转换数据并提升查询性能。实体化视图是 AWS Glue Data Catalog 中的托管表,它以 Apache Iceberg 格式存储预先计算好的查询结果,并能在源数据变更时自动保持更新。该功能旨在帮助数据工程师与分析团队轻松通过多阶段完成从原始数据到最终分析表的数据转换,同时减少工程工作量与运维成本。
客户如今可使用标准 Spark SQL 语法创建实体化视图,并设置数据刷新计划。该服务自动处理刷新计划、变更检测、增量更新,以及计算基础设施管理。Amazon Athena、Amazon EMR 和 AWS Glue 中的 Spark 引擎能够智能地重写查询以利用这些实体化视图,从而将查询性能提升高达 8 倍,同时降低计算成本。您可利用 Athena 和 Redshift 等 SQL 查询引擎,从 SQL 编辑器和 Amazon SageMaker 笔记本中以 Iceberg 表形式访问实体化视图。
AWS Glue 的实体化视图功能已在以下区域上线:欧洲地区(斯德哥尔摩)、亚太地区(泰国)、亚太地区(孟买)、欧洲地区(巴黎)、美国东部(俄亥俄州)、欧洲地区(爱尔兰)、欧洲地区(法兰克福)、南美洲(圣保罗)、亚太地区(香港)、美国东部(弗吉尼亚州北部)、亚太地区(首尔)、亚太地区(马来西亚)、欧洲地区(伦敦)、亚太地区(东京)、美国西部(俄勒冈州)、美国西部(北加利福尼亚)、亚太地区(新加坡)、亚太地区(悉尼)、加拿大(中部)、欧洲(西班牙)。如需了解更多信息,请参阅 AWS Glue 开发人员指南中的使用实体化视图部分。