AWS Glue Data Catalog 现在支持通过 Amazon VPC 进行 Apache Iceberg 自动表优化

发布于: 2024年11月21日

AWS Glue Data Catalog 现在支持自动优化只能从特定 Amazon Virtual Private Cloud (VPC) 环境访问的 Apache Iceberg 表。您可以通过提供 VPC 配置来启用自动优化，以优化存储和提高查询性能，同时保持表的安全性。

AWS Glue Data Catalog 支持压缩、快照保留和未引用文件管理，可帮助您降低元数据开销、控制存储成本和提高查询性能。如果客户的管理和安全配置要求 Amazon S3 存储桶驻留在特定 VPC 中，那么您现在就可以将其与 Glue Catalog 一起使用。这为您提供了更广泛的功能来自动管理 Apache Iceberg 数据，无论数据存储在 Amazon S3 上的哪个位置。

通过 Amazon VPC 进行 Iceberg 表自动优化的功能已在 13 个 AWS 区域推出：美国东部（弗吉尼亚州北部、俄亥俄州）、美国西部（俄勒冈州）、欧洲（爱尔兰、伦敦、法兰克福、斯德哥尔摩）、亚太地区（东京、首尔、孟买、新加坡、悉尼）、南美洲（圣保罗）。客户可以通过 AWS 管理控制台、AWS CLI 或 AWS SDK 启用此功能。

要开始使用，您现在可以提供作为附加配置的 Glue 网络连接以及优化设置（如默认保留期和保留未引用文件的天数）。AWS Glue Data Catalog 将使用 Glue 连接中的 VPC 信息来访问 Amazon S3 存储桶和优化 Apache Iceberg 表。
要了解更多信息，请阅读此博客，并访问 AWS Glue Data Catalog 文档。