Amazon EMR 推出搭载 Apache Spark 4.1 的长期支持版本
Amazon EMR 推出长期支持(LTS)版本,首个版本为 emr-spark-8.1.0,搭载 Apache Spark 4.1。借助 LTS,适用于 Apache Spark 的 AWS 运行时的指定版本可获得 36 个月的支持。Amazon EMR 推出的 LTS 版本包含针对严重级别为“严重”和“高”的安全、错误和数据损坏问题的修复,具体视可用性而定。LTS 有助于您在同一版本上更长久地运行生产级 Spark 工作负载,并按自己的节奏进行升级,无需额外付费。
此版本新增对 Apache Iceberg v3 的全面支持,为表带来全新的地理空间、高精度时间戳与模式演进能力。Spark SQL 查询可按名称引用目录,包括跨账户目录与 Amazon S3 表类数据存储服务目录;并且能够自动检测 Apache Iceberg、Delta Lake 和 Apache Hudi 表格式,无需在 Spark 配置中注册每个目录。精细访问控制现已支持更多 Apache Iceberg 操作以及 Delta Lake VACUUM 操作,使您能够为更多作业配置列级与行级权限。Amazon EMR on EKS 集群现已支持采用基于令牌的身份验证的 Spark Connect 端点。
emr-spark-8.1.0 已在提供 Amazon EMR 的所有 AWS 区域推出,覆盖 Amazon EMR on EC2、Amazon EMR on EKS 和 Amazon EMR Serverless。
要了解更多信息,请参阅 emr-spark-8.1.0 发行说明和 Amazon EMR 标准支持策略。要开始使用,请在 AWS 管理控制台中使用 emr-spark-8.1.0 创建 EMR 集群或应用程序,或使用适用于 Amazon EMR 的 Apache Spark 升级代理将现有应用程序迁移到该版本。