Amazon S3 现在支持 Apache Iceberg 表的排序和叠放顺序压缩
发布于:
2025年6月24日
Amazon S3 现在支持 Apache Iceberg 表的排序和叠放顺序压缩,该功能已在 Amazon S3 表类数据存储服务和基于 AWS Glue Data Catalog 优化的通用 S3 存储桶中推出。Iceberg 表中的排序压缩可以最大限度地减少查询引擎扫描的数据文件数量,从而提高查询性能并降低成本。当同时跨多列查询时,叠放顺序压缩通过高效的文件修剪提供了额外的性能优势。
S3 表类数据存储服务提供了完全托管的体验,当在表元数据中定义排序顺序时,系统会在压缩过程中自动对指定列应用分层排序。当多个查询谓词需要被平等优先处理时,您可以通过 S3 表类数据存储服务维护 API 启用叠放顺序压缩。如果您在通用型 S3 存储桶中使用 Iceberg 表,则可以在 AWS Glue Data Catalog 控制台中启用优化,并指定您偏好的压缩方式。
这些新增的合并功能已在支持 S3 表类数据存储服务或使用 AWS Glue Data Catalog 进行优化的所有 AWS 区域中推出。要了解更多信息,请阅读 AWS 新闻博客,并访问 S3 表类数据存储服务维护文档和 AWS Glue Data Catalog 优化文档。