Amazon EMR Serverless 現在支援 Apache Spark 4.0.1 (預覽版)
Amazon EMR Serverless 現在支援 Apache Spark 4.0.1 (預覽版)。有了 Spark 4.0.1，您能夠使用 ANSI SQL 和 VARIANT 資料類型更輕鬆地建置和維護資料管道、透過 Apache Iceberg v3 資料表格式強化合規性和治理架構，並透過增強的串流功能更快地部署新的即時應用程式。這能夠讓您的團隊減少技術負債並更快地進行迭代，同時確保資料準確性和一致性。
有了 Spark 4.0.1，您能夠使用標準 ANSI SQL 建置資料管道，讓大量不了解 Python 或 Scala 等程式設計語言的使用者也能夠進行存取。Spark 4.0.1 會透過 VARIANT 資料類型原生支援 JSON 和半結構化資料，從而提供用於處理多種資料格式的靈活性。您可以透過 Apache Iceberg v3 資料表格式來加強合規性和治理，該格式能夠提供交易保證，並且會追蹤資料隨著時間推移的變更，從而建立遵循法規要求所需的稽核軌跡。透過可讓您更輕鬆地管理複雜具狀態作業並監控串流工作的改進型串流控制項，您能夠更快地部署即時應用程式。有了這項功能，您便能夠支援詐騙偵測和即時個人化等使用案例。
Apache Spark 4.0.1 會以預覽版的形式適用於提供 EMR Serverless 的所有區域，中國和 AWS GovCloud (美國) 區域除外。若要進一步了解 Amazon EMR 上的 Apache Spark 4.0.1，請瀏覽 Amazon EMR Serverless 版本備註，或透過從 AWS 管理主控台建立使用 Spark 4.0.1 的 EMR 應用程式來著手使用。