張貼日期: Aug 1, 2019
您現在可以在 Amazon EMR 5.25.0 版使用 Spark 2.4.3、Presto 0.220、Apache Hive 2.3.5 和 Apache Tez 0.9.2。
此版本還包含兩項全新的效能優化功能,可將 Spark 效能提高到 EMR 5.24 的 3 倍*:Bloom 篩選條件聯結和最佳化聯結重新排序。
- Bloom 篩選條件聯結可動態篩選表格聯結,僅包含相關的行。這可減少 Spark 處理的資料量,提高查詢執行時間效能。
- 最佳化聯結重新排序可動態重新排序聯結,優先執行含篩選條件且較小的聯結,以減少後續較大聯結所需的處理工作。
如需啟用這些優化的詳細資訊,請參閱我們的 EMR Spark 效能文件和 EMR 5.25.0 版本備註。
此外,我們已針對記憶體優化 R4 執行個體更新預設 Spark 組態,以實現更佳的 CPU 和記憶體使用率。此更新可將 Spark 執行時間效能提升到 1.5 倍*。
Amazon EMR 5.25.0 版現已在所有支援 Amazon EMR 的區域提供。
您可以訂閱 EMR 版本備註摘要,以取得 EMR 版本的最新資訊。請使用 EMR 版本指南頂端的圖示,將摘要 URL 直接連結到您喜愛的摘要閱讀器。
* 依據 3TB TPC-DS 基準比較 EMR 5.24.0 和 EMR 5.25.0。