Publicado en: Apr 9, 2020
Nos complace anunciar la versión 6.0.0 de Amazon EMR, que incluye compatibilidad con las nuevas versiones principales de Hadoop, Hive, HBase, Amazon Linux 2 y con el empaquetado de dependencias de entorno de Spark mediante Docker.
Ahora, los usuarios de Spark pueden utilizar imágenes de Docker desde Docker Hub y Amazon Elastic Container Registry (Amazon ECR) con la versión 6.0.0 de EMR para definir dependencias de bibliotecas y entornos. A través de Docker, puede empaquetar con facilidad sus dependencias de R y Python para trabajos individuales, sin que sea necesario instalar dependencias en alojamientos de clúster. Para obtener más información sobre el uso de Docker con EMR 6.0.0, consulte nuestra sección de guía de administración de EMR sobre cómo Configurar Docker y nuestra publicación de blog acerca de cómo puede simplificar su administración de dependencias de Spark con Docker.
Ahora, los usuarios de Hive pueden utilizar la función Live Long and Process (LLIV) de HIVE con la versión 6.0.0 de EMR, para obtener el doble de velocidad de rendimiento respecto a EMR 5.29 y una mejora hasta diez veces mayor en las consultas TPC-DS individuales de Hive*. Hive LLAP es un nuevo modelo de ejecución en Hive que usa demonios persistentes con almacenamiento en memoria caché dinámico para acelerar la ejecución de las consultas. Para obtener más información sobre cómo activar la función LLAP de Hive, consulte nuestra documentación acerca de cómo Usar Hive LLAP y nuestra publicación de blog para descubrir por qué Apache Hive es el doble de rápido con Hive LLAP en EMR 6.0.0.
EMR 6.0.0 ofrece las nuevas versiones principales de Apache Hadoop 3.2.1, Apache Hive 3.1.2, Apache HBase 2.2.3, Apache Phoenix 5.0.0 y el tiempo de ejecución de EMR para Apache Spark 2.4.4, compatible con Scala 2.12. La versión 6.0.0 de EMR está creada en base a Amazon Linux 2 y Amazon Corretto JDK 8. Amazon Linux 2 es la última generación del sistema operativo del servidor Amazon Linux y proporciona nuevas herramientas como el sistema systemd init y el kernel de Amazon Linux LTS ajustado según rendimiento. Amazon Corretto JDK 8 proporciona un JDK certificado y compatible con Java SE que incluye soporte a largo plazo, mejoras de rendimiento y correcciones de seguridad. Para obtener más información sobre las aplicaciones de EMR actualizadas en la versión 6.0.0, consulte las notas de la versión.
La versión 6.0.0 de Amazon EMR ya se encuentra disponible en todas las regiones en las que se admite el servicio.
Para mantenerse informado acerca de las versiones de EMR, suscríbase a la fuente de notas de la versión de EMR. Use el ícono ubicado en la parte superior de la Guía de versiones de EMR para vincular la URL de la fuente directamente a su lector de fuentes favorito.
*Basado en el benchmark TPC-DS de 3 TB comparando EMR 5.29.0 con EMR 6.0.0.