Amazon EMR 現在正式支援 Apache Spark 4.0.2
Amazon EMR 現在支援所有三種部署模式的 Apache Spark 4.0.2。有了 Spark 4.0.2，您就能使用 ANSI SQL 和 VARIANT 資料類型更輕鬆地建置和維護資料管道、強制在資料列或資料欄層級執行精細存取控制 (FGAC)、透過 Apache Iceberg v3 資料表格式強化合規性和治理架構，並透過增強的串流功能更快地部署新的即時應用程式。
有了 Spark 4.0.2，您就能建立資料管道，讓更廣泛的使用者在無需學習 Spark 特定語法的情況下，透過標準 ANSI SQL 支援來存取資料工程。Spark 4.0.2 會透過 VARIANT 資料類型原生支援 JSON 和半結構化資料，從而提供用於處理多種資料格式的靈活性。您能夠在 Apache Spark 工作中針對 AWS Lake Formation 註冊表的讀取和寫入作業強制執行精細存取控制 (FGAC)。Apache Iceberg v3 資料表格式是基於這些安全性功能建置而成，可提供更強大的交易保證並追蹤資料沿襲，從而建立法規遵循所需的稽核軌跡。增強的串流控制功能能夠簡化複雜具狀態操作的管理，並改善監控作業，讓您能夠更快部署即時應用程式，以用於詐騙偵測、個人化和其他時間敏感的使用案例。
Apache Spark 4.0.2 適用於所有提供 EMR 的區域。如果希望升級現有的 EMR 應用程式，您可以使用 Apache Spark 升級代理程式來加速升級流程。若要進一步了解 Amazon EMR 上的 Apache Spark 4.0.2，請瀏覽 Amazon EMR 版本備註，或透過從 AWS 管理主控台建立使用 Spark 4.0.2 的 EMR 應用程式來著手。