Amazon EMR sin servidor ahora es compatible con Apache Spark 4.0.1 (versión preliminar)
Amazon EMR sin servidor ahora es compatible con Apache Spark 4.0.1 (versión preliminar). Con Spark 4.0.1, puede crear y mantener canalizaciones de datos más fácilmente con los tipos de datos ANSI SQL y VARIANT, fortalecer los marcos de conformidad y gobernanza con el formato de tabla Apache Iceberg v3 e implementar nuevas aplicaciones en tiempo real más rápido con capacidades de transmisión mejoradas. Esto permite que sus equipos reduzcan la deuda técnica e iteren con mayor rapidez. Al mismo tiempo, garantiza la precisión y la coherencia de los datos.
Con Spark 4.0.1, puede crear canalizaciones de datos con ANSI SQL estándar. Esto las hace accesibles a un conjunto más grande de usuarios que no conocen lenguajes de programación como Python o Scala. Spark 4.0.1 admite de forma nativa datos JSON y semiestructurados a través de tipos de datos VARIANT, lo que brinda flexibilidad para manejar diversos formatos de datos. Puede reforzar la conformidad y la gobernanza mediante el formato de tablas Apache Iceberg v3, que proporciona garantías de transacciones y hace un seguimiento de la forma en que sus datos cambian con el tiempo, creando los registros de auditoría que necesita para cumplir con los requisitos reglamentarios. Puede implementar aplicaciones en tiempo real con mayor rapidez con controles de transmisión mejorados que le permiten administrar operaciones complejas y con estado y monitorear los trabajos de transmisión con mayor facilidad. Con esta capacidad, puede respaldar casos de uso como la detección de fraudes y la personalización en tiempo real.
Apache Spark 4.0.1 está disponible en versión preliminar en todas las regiones en las que EMR sin servidor está disponible, excepto en las regiones de China y AWS GovCloud (EE. UU.). Para obtener más información sobre Apache Spark 4.0.1 en Amazon EMR, consulte las notas de la versión de Amazon EMR sin servidor o comience a crear una aplicación de EMR con Spark 4.0.1 desde la Consola de administración de AWS.