Amazon EMR presenta el soporte a largo plazo con Apache Spark 4.1
Amazon EMR presenta las versiones de soporte a largo plazo (LTS), a partir de emr-spark-8.1.0 y Apache Spark 4.1. Con LTS, las versiones designadas de la versión ejecutable de AWS para Apache Spark reciben 36 meses de soporte. Amazon EMR ofrece versiones de LTS con correcciones para problemas críticos y de alta gravedad de seguridad, errores y corrupción de datos, sujetas a disponibilidad. LTS le ayuda a ejecutar las cargas de trabajo de producción de Spark en una versión durante más tiempo y a actualizarlas según su propio cronograma, sin costo adicional.
Esta versión añade compatibilidad total con Apache Iceberg v3, lo que aporta nuevas capacidades geoespaciales, de marca de tiempo de alta precisión y de evolución de esquemas a sus tablas. Las consultas SQL de Spark pueden hacer referencia a los catálogos por su nombre, incluidos los catálogos de Amazon S3 Tables y de cuentas cruzadas, y detectar automáticamente los formatos de tablas de Apache Iceberg, Delta Lake y Apache Hudi, sin registrar cada catálogo en la configuración de Spark. El control de acceso detallado ahora cubre más operaciones de Apache Iceberg y la operación de Delta Lake VACUUM, por lo que puede aplicar permisos a nivel de columna y fila a un conjunto más amplio de trabajos. Amazon EMR en los clústeres de EKS ahora admite puntos de enlace de Spark Connect con autenticación basada en tokens.
emr-spark-8.1.0 está disponible en todas las regiones de AWS en las que Amazon EMR está disponible, en Amazon EMR en EC2, Amazon EMR en EKS y Amazon EMR sin servidor.
Para obtener más información, consulte las notas de la versión de emr-spark-8.1.0 y la política de soporte estándar de Amazon EMR. Para empezar, cree un clúster o una aplicación de EMR con emr-spark-8.1.0 desde la consola de administración de AWS, o utilice el agente de actualización de Apache Spark para Amazon EMR para mover las aplicaciones existentes a la versión.