Publicado en: Jul 7, 2023
Los rastreadores de AWS Glue ahora son compatibles con las tablas de Apache Iceberg, lo que simplifica la adopción del catálogo de datos de AWS Glue como catálogo para las tablas de Iceberg y la migración desde otros catálogos de Iceberg. Apache Iceberg es un formato de tabla de código abierto para datos almacenados en lagos de datos que ayuda a los ingenieros de datos a administrar desafíos complejos, como la administración de conjuntos de datos en continua evolución, mientras se mantiene el rendimiento de las consultas. Con el lanzamiento de hoy, puede registrar automáticamente las tablas de Iceberg en el catálogo de Glue ejecutando el rastreador de Glue. A continuación, puede consultar las tablas de Iceberg del catálogo de Glue en varios motores de análisis y aplicar permisos detallados de Lake Formation al realizar consultas desde Amazon Athena.
Al migrar desde otros catálogos de Iceberg, puede crear y programar un rastreador de Glue y proporcionar una o más rutas de Amazon S3 donde se encuentran las tablas de Iceberg. Tiene la opción de proporcionar la profundidad máxima de las rutas de S3 que puede atravesar el rastreador de Glue. Con cada ejecución, el rastreador de Glue extraerá la información del esquema y actualizará el catálogo de Glue con los cambios del esquema. El rastreador de Glue admite la fusión de esquemas en todas las instantáneas y actualiza la ubicación más reciente del archivo de metadatos en el catálogo de Glue que los motores analíticos de AWS pueden usar directamente.
La compatibilidad de los rastreadores de AWS Glue con las tablas de Iceberg está disponible en todas las regiones comerciales en las que AWS Glue está disponible. Consulte la tabla de regiones de AWS. Para obtener más información, consulte la documentación del rastreador de AWS Glue.