Publicado en: Jun 7, 2022
La versión 6.6 de Amazon EMR ahora es compatible con Apache Spark 3.2, Apache Spark RAPIDS 22.02, CUDA 11, Apache Hudi 0.10.1, Apache Iceberg 0.13, Trino 0.367 y PrestoDB 0.267. Puede utilizar la versión optimizada para el rendimiento de Apache Spark 3.2 en EMR en EC2, EKS y en la versión de reciente lanzamiento de EMR sin servidor. Además, Apache Hudi 0.10.1 y Apache Iceberg 0.13 están disponibles en EC2, EKS y sin servidor. Apache Hive 3.1.2 está disponible en EMR en EC2 y en EMR sin servidor. Trino 0.367 y PrestoDB 0.267 solo están disponibles en EMR en EC2.
Todas las versiones de lanzamiento de Amazon EMR utilizan una imagen de máquina de Amazon (AMI) de Amazon Linux 2 (AL2) para Amazon EMR. Antes de la versión 6.6 de Amazon EMR, la AMI predeterminada estaba basada en la AMI de Amazon Linux más reciente y actualizada en el momento del lanzamiento de la versión de Amazon EMR. Por tanto, la versión de lanzamiento de Amazon EMR estaba “bloqueada” en su AMI de AL2 respectiva asignada. Esto significa que cualquier actualización de AL2 no se aplicaba de manera automática, a no ser que se pasase al siguiente lanzamiento de Amazon EMR o la instalase de manera manual. A partir de la versión 6.6 y posterior de Amazon EMR, cada vez que lanza un clúster de EMR en EC2, Amazon EMR utiliza de manera automática la última versión de AL2. Consulte la documentación para obtener más información.
Con la versión de 6.6 y posterior de Amazon EMR, las aplicaciones que utilizan Log4j 1.x y Log4j 2. se actualizarán para utilizar Log4j 1.2.17 (o superior) y Log4j 2.17.1 (o superior) respectivamente, y no será necesario utilizar las acciones de arranque que se brindaron antes para mitigar los errores de CVE.
Además, con la versión 6.6 de Amazon EMR, el tiempo de inicio del clúster de EMR en EC2, ha mejorado en 80 segundos de promedio para clústeres que utilizan la opción de AMI predeterminada de Amazon EMR e instalan aplicaciones comunes como Apache Hadoop, Apache Spark y Apache Hive.
La versión 6.6 de Amazon EMR está disponible de manera general en todas las regiones en las que Amazon EMR está disponible. Consulte la Disponibilidad regional de Amazon EMR y las notas de la versión para obtener más información.