Presentamos AWS Glue 5.1
AWS Glue 5.1 ya está disponible de forma general y ofrece un rendimiento mejorado, actualizaciones de seguridad, capacidades ampliadas de Apache Iceberg y soporte de escritura de AWS Lake Formation para cargas de trabajo de integración de datos.
AWS Glue es un servicio de integración de datos escalable y sin servidor que simplifica el descubrimiento, la preparación, la transferencia y la integración de datos de varios orígenes. Esta versión actualiza los motores principales a Apache Spark 3.5.6, Python 3.11 y Scala 2.12.18, lo que aporta mejoras de rendimiento y seguridad. También actualiza la compatibilidad con las bibliotecas de formato de tabla abierta, incluidas Apache Hudi 1.0.2, Apache Iceberg 1.10.0 y Delta Lake 3.3.2.
AWS Glue 5.1 incorpora la compatibilidad con la versión 3.0 del formato Apache Iceberg, que agrega valores de columna predeterminados, vectores de eliminación para tablas “merge-on-read”, transformaciones de varios argumentos y seguimiento del linaje de filas. Esta versión también amplía el control de acceso detallado de AWS Lake Formation para escribir operaciones (tanto en DML como en DDL) para Spark DataFrames y Spark SQL. Anteriormente, esta capacidad se limitaba únicamente a las operaciones de lectura. AWS Glue 5.1 también agrega un control de acceso completo a las tablas de Apache Spark para Apache Hudi y Delta Lake. De este modo, se ofrecen opciones de seguridad más completas para sus datos.
AWS Glue 5.1 está disponible en este de EE. UU. (norte de Virginia), este de EE. UU. (Ohio), oeste de EE. UU. (Oregón), Europa (Irlanda), Europa (Estocolmo), Europa (Fráncfort), Europa (España), Asia-Pacífico (Hong Kong), Asia-Pacífico (Singapur), Asia-Pacífico (Sídney), Asia-Pacífico (Tokio), Asia-Pacífico (Malasia), Asia-Pacífico (Tailandia), Asia-Pacífico (Mumbai) y América del Sur (São Paulo). Consulte la documentación de AWS Glue para obtener más información.