Amazon EMR ahora es compatible con Apache Spark 4.0.2 con disponibilidad general
Amazon EMR ahora es compatible con Apache Spark 4.0.2 en los tres modelos de implementación. Con Spark 4.0.2, puede crear y mantener canalizaciones de datos más fácilmente con los tipos de datos ANSI SQL y VARIANT, aplicar un control de acceso detallado (FGAC) a nivel de fila o columna, fortalecer los marcos de conformidad y gobernanza con el formato de tabla Apache Iceberg v3 e implementar nuevas aplicaciones en tiempo real más rápido con capacidades de transmisión mejoradas.
Con Spark 4.0.2, puede crear canalizaciones de datos, haciendo que la ingeniería de datos sea accesible para una gama más amplia de usuarios a través de la compatibilidad con ANSI SQL estándar, lo que evita la necesidad de aprender la sintaxis específica de Spark. Spark 4.0.2 admite de forma nativa datos semiestructurados y JSON a través de tipos de datos VARIANT, lo que brinda flexibilidad para manejar diversos formatos de datos. Puede aplicar un control de acceso detallado (FGAC) en las operaciones de lectura y escritura de las tablas registradas de AWS Lake Formation en sus trabajos de Apache Spark. Sobre la base de estas capacidades de seguridad, el formato de tablas Apache Iceberg v3 ofrece garantías de transacción más sólidas y rastrea la trazabilidad de datos, creando los registros de auditoría necesarios para el cumplimiento de la normativa. Los controles de transmisión mejorados simplifican la administración de operaciones complejas con estado y mejoran el monitoreo, lo que le permite implementar aplicaciones en tiempo real para la detección del fraude, la personalización y otros casos de uso urgentes con mayor rapidez.
Apache Spark 4.0.2 está disponible en todas las regiones en las que está disponible EMR. Si está actualizando su aplicación de EMR existente, puede usar el agente de actualización Apache Spark para acelerar las actualizaciones. Para obtener más información sobre Apache Spark 4.0.2 en Amazon EMR, consulte las notas de la versión de Amazon EMR sin servidor o comience a crear una aplicación de EMR con Spark 4.0.2 desde la Consola de administración de AWS.