Publicado en: Oct 14, 2021
La versión 6.4 de Amazon EMR ya es compatible con Apache Spark 3.1.2 y brinda mejoras en el tiempo de ejecución con Amazon EMR para Apache Spark. Amazon EMR 6.4 brinda mejoras en el tiempo de ejecución de Presto para PrestoDB 0.254, y mejoras en el tiempo de ejecución para Apache Hive 3.1.2 al utilizar AWS Glue Data Catalog para el metastore.
Amazon EMR 6.4 es compatible con Apache Hudi 0.8.0, Trino 359, PrestoDB 0.254, Apache HBase 2.4.4, Apache Phoenix 5.1.2, Apache Flink 1.13.1, Apache Livy 0.7.1, JupyterHub 1.4.1, Apache Zookeeper 3.5.7 y Apache MXNet 1.8.0. Para obtener más información, consulte nuestra guía de versiones.
A partir de las versiones 5.30 y 6.1 de Amazon EMR, ya es posible finalizar automáticamente los clústeres de Amazon EMR inactivos. Esto le ayuda a minimizar los costos sin monitorear la actividad del clúster. Para comenzar, lea nuestra documentación aquí.
Amazon EMR Studio ya es compatible con el uso de varios idiomas en el mismo bloc de notas basado en Jupyter para las cargas de trabajo de Spark. Consulte nuestra documentación para obtener más información. A partir de ahora, los usuarios de Amazon EMR Studio podrán utilizar la autenticación basada en IAM o IAM federada, además de AWS Single Sign-On. Puede obtener más información aquí.
Amazon EMR 6.4 incluye Hudi 0.8.0, que permite utilizar varias aplicaciones para escribir simultáneamente en la misma tabla Hudi. Puede encontrar más detalles sobre las características de Hudi 0.8.0 aquí. Ahora puede notificar las métricas de Hudi a Amazon CloudWatch y establecer las configuraciones de Hudi a nivel de clúster mediante la API de configuración de EMR y la característica de reconfiguración.
Amazon EMR 6.4 ya es compatible con Spark SQL para escribir y actualizar tablas de metadatos de Apache Hive en clústeres de Amazon EMR habilitados para Apache Ranger. Consulte nuestra documentación para obtener más información.
A partir de la versión 5.7 de Amazon EMR, ya es posible crear clústeres con varias Amazon Machine Images (AMI) personalizadas. Puede incluir tanto instancias de AWS Graviton como instancias diferentes de AWS Graviton en el mismo clúster. Para obtener más información, lea la documentación. Amazon EMR 6.4 está disponible de manera general en todas las regiones en las que Amazon EMR está disponible. Consulte la Disponibilidad regional de Amazon EMR y las notas de la versión para obtener más información.