Amazon EMR 7.12 现在支持 Apache Iceberg v3 表格式
Amazon EMR 7.12 现已推出,该版本集成 Apache Iceberg 1.10 并支持全新的 Apache Iceberg v3 表格式。此次发布的功能让您能够降低数据删除成本,通过更完善的行级变更追踪功能加强数据治理与合规性,并借助更精细的数据访问控制提升数据安全性。
借助 Iceberg v3,您能够以更具成本效益的方式删除数据;该版本仅标记被删除行而无需重写整个文件,从而在降低存储成本的同时加快数据管道的执行速度。通过自动跟踪每一行数据的创建与修改历史记录,系统能够生成满足监管要求和变更数据捕获所需的审计跟踪记录,从而显著提升数据治理与合规水平。您可以通过表级加密功能来增强数据安全性,以满足对敏感数据的隐私法规要求。
此次发布的功能包含 Apache Spark 3.5.6,您可以利用 Iceberg 1.10 的各项功能,在 Amazon S3 上构建稳健的数据湖架构。这项功能还支持使用 AWS Lake Formation 在 Iceberg 表中进行数据治理操作。此外,此次发布的功能还包含 Apache Trino 476。
Amazon EMR 7.12 已在提供 Amazon EMR 的所有 AWS 区域推出。要了解有关 Amazon EMR 7.12 的更多信息,请参阅 Amazon EMR 7.12 发布文档。