Publicado en: Jul 21, 2023
Los rastreadores de AWS Glue ahora son compatibles con las tablas de Apache Hudi, lo que permite a los clientes consultar datos en las tablas de Apache Hudi directamente desde los servicios de análisis de AWS, como Amazon Athena Apache Hudi es un formato de tabla de código abierto que aporta capacidades de base de datos y almacenamiento de datos al lago de datos. Apache Hudi ayuda a los ingenieros de datos a gestionar conjuntos de datos en constante evolución y, al mismo tiempo, a mantener el rendimiento de las consultas.
Antes, para consultar los datos de las tablas de Apache Hudi, los usuarios de Amazon Athena tenían que crear manualmente una tabla en el catálogo de datos de Glue y actualizar los cambios en las particiones para garantizar que los resultados de la consulta estuvieran actualizados. Con el lanzamiento de hoy, los usuarios pueden registrar automáticamente las tablas de Apache Hudi en el catálogo de Glue ejecutando el rastreador de Glue. El rastreador de Glue admite tablas Hudi particionadas y no particionadas de Copiar en escritura (CoW) y Fusionar en lectura (MoR). Luego, los usuarios pueden consultar las tablas de Hudi del catálogo de Glue en varios servicios de análisis y aplicar permisos detallados de Lake Formation. Con los rastreadores de Glue, los usuarios también pueden migrar datos de otros catálogos de Hudi al catálogo de Glue.
Para empezar, los usuarios deberán crear, ejecutar o programar un rastreador de Glue y proporcionar una o más rutas de Amazon S3 a las tablas de Hudi. Con cada ejecución, el rastreador de Glue extraerá el esquema, la información de las particiones y actualizará el catálogo de Glue con el esquema, los cambios en las particiones y la ubicación más reciente del archivo de metadatos de Hudi.
La compatibilidad de los rastreadores de AWS Glue con las tablas de Hudi está disponible en todas las regiones comerciales en las que AWS Glue está disponible. Consulte la tabla de regiones de AWS. Para obtener más información, visite la documentación del rastreador de AWS Glue.