게시된 날짜: Aug 1, 2019
이제 Amazon EMR 릴리스 5.25.0에 Spark 2.4.3, Presto 0.220, Apache Hive 2.3.5 및 Apache Tez 0.9.2를 사용할 수 있습니다.
이번 릴리스에는 EMR 5.24에 비해 Spark 성능을 최대 3배*까지 향상하는 두 가지 새로운 성능 최적화(Bloom Filter Join 및 Optimized Join Reorder) 기능이 포함되어 있습니다.
- Bloom Filter Join은 관련 행만 포함하도록 테이블 조인을 동적으로 필터링합니다. 이렇게 하면 Spark가 처리하는 데이터의 양이 줄어 쿼리 런타임 성능이 향상됩니다.
- Optimized Join Reorder는 조인을 동적으로 재정렬하여 필터로 작은 조인을 먼저 실행하므로 이후 더 큰 조인에 필요한 처리가 줄어듭니다.
이러한 최적화 기능의 활성화에 대한 자세한 내용은 EMR Spark 성능 설명서 및 EMR 5.25.0 출시 정보를 참조하시기 바랍니다.
또한, CPU 및 메모리 사용률을 높이기 위해 메모리 최적화 R4 인스턴스에 대한 기본 Spark 구성을 업데이트했습니다. 이 업데이트로 Spark 런타임 성능이 1.5배* 향상되었습니다.
이제 Amazon EMR이 지원되는 모든 리전에서 Amazon EMR 릴리스 5.25.0을 사용할 수 있습니다.
EMR 출시 정보 피드를 구독하면 최신 EMR 출시 정보를 받을 수 있습니다. EMR 릴리스 안내서의 상단에 있는 아이콘을 사용하여 피드 URL을 즐겨 찾는 피드 리더에 직접 연결하십시오.
*EMR 5.24.0과 EMR 5.25.0을 비교한 3TB TPC-DS 벤치마크 기반.