Publicado en: Oct 31, 2022
Nos complace anunciar que la versión 6.8 de Amazon EMR incluye Apache Flink 1.15.1. Esta característica está disponible en EMR en EC2.
Apache Flink es un marco de código abierto y un motor para procesar secuencias de datos. Apache Flink 1.15.1 en EMR 6.8 incluye 62 correcciones de errores, correcciones de vulnerabilidades y mejoras menores sobre Flink 1.15.0. Entre sus características clave se incluyen:
- Alineación de marcas de agua (versión Beta) entre orígenes de datos: el procesamiento de tiempo de eventos en Flink depende de elementos especiales con marcas de tiempo, llamados marcas de agua, que se insertan en la secuencia por los orígenes de datos o por un generador de marcas de agua. Una marca de agua con una marca de tiempo t puede entenderse como una afirmación de que todos los eventos con marcas de tiempo < t ya han llegado. La alineación de marcas de agua es útil cuando se procesan orígenes con diferentes velocidades de eventos, p. ej., cuando un origen está inactivo o emite registros relativamente más rápido que otras, puede habilitar la alineación de marcas de agua para cada origen por separado. Flink alinea las marcas de agua pausando el origen de mayor velocidad y continúa leyendo registros de otros orígenes hasta que las marcas de agua están alineadas.
- Actualización de la versión SQL: Presentamos los planes de JSON, que son funciones de JSON que facilitan la importación y exportación de datos estructurados en SQL. Hoy en día, las actualizaciones de las versiones pueden alterar la topología de las consultas SQL y esto puede introducir incompatibilidad de instantáneas entre versiones. Esto hace que actualizar las versiones de Flink sea un desafío. Con esta característica, tanto la API Table como SQL proporcionarán una forma de compilar y ejecutar un plan que garantice la misma topología para consultas SQL en diferentes versiones. Esto hará que sea más confiable actualizar a versiones futuras. Los usuarios que quieran probar esta característica, pueden crear un plan de JSON que luego se puede usar para restaurar un trabajo de Flink basado en la estructura del operador anterior.
Para obtener más detalles, consulte los documentos de lanzamiento de OSS Flink.
La versión 6.8 de Amazon EMR está disponible de manera general en todas las regiones en las que Amazon EMR está disponible. Consulte Disponibilidad regional de Amazon EMR y las notas de la versión para obtener más información.