Amazon EMR 推出 Apache Spark 4.1 的長期支援
Amazon EMR 推出長期支援 (LTS) 版本,首先推出 emr-spark-8.1.0 和 Apache Spark 4.1。透過 LTS,指定的 Apache Spark 用 AWS 執行時期版本可獲得 36 個月的支援。Amazon EMR 提供的 LTS 版本包含重大及高嚴重性安全性、錯誤和資料損毀問題的修正,實際情況視可用性而定。LTS 可讓您以單一版本執行正式環境的 Spark 工作負載更長時間,並依自己的時程升級,無須額外付費。
此版本新增對 Apache Iceberg v3 的完整支援,為您的資料表帶來全新的地理空間、高精確度時間戳記和結構描述演進功能。Spark SQL 查詢可以依名稱參照目錄,包括跨帳戶和 Amazon S3 Tables 目錄,並自動偵測 Apache Iceberg、Delta Lake 和 Apache Hudi 資料表格式,無須在您的 Spark 組態中註冊每個目錄。精細存取控制現在涵蓋更多 Apache Iceberg 操作和 Delta Lake VACUUM 操作,讓您可以將資料欄層級和資料列層級權限套用至更廣泛的工作。Amazon EMR on EKS 叢集現在支援具備字符型身分驗證的 Spark Connect 端點。
emr-spark-8.1.0 可在所有提供 Amazon EMR 的 AWS 區域使用,涵蓋 Amazon EMR on EC2、Amazon EMR on EKS 和 Amazon EMR Serverless。
若要進一步了解,請參閱 emr-spark-8.1.0 版本備註和 Amazon EMR 標準支援政策。若要開始使用,請從 AWS 管理主控台建立使用 emr-spark-8.1.0 的 EMR 叢集或應用程式,或使用 Apache Spark 升級代理程式 (適用於 Amazon EMR) 將現有應用程式移轉至該版本。