Las tablas de Amazon S3 ahora admiten el tipo de datos Variant para Apache Iceberg V3
Las tablas de Amazon S3 ahora admiten el tipo de datos Variant tal como se define en la especificación Apache Iceberg versión 3 (V3). Ahora puede escribir datos semiestructurados, como JSON, directamente en las tablas de S3 sin definir un esquema fijo por adelantado, lo que le permite cargar datos más rápido y, al mismo tiempo, obtener un rendimiento eficiente de las consultas analíticas.
Con el tipo de datos Variant, los motores compatibles con Apache Iceberg V3 descomponen los datos semiestructurados en columnas ocultas a medida que los escribe. Esto genera estadísticas de columnas de Parquet que los motores de consulta utilizan para optimizaciones como la eliminación de archivos, lo que reduce los datos que escanean las consultas analíticas. Las tablas de S3 también ofrecen un mantenimiento continuo de las tablas, incluida la compactación, para las columnas de Variant. Así puede consolidar los datos de archivos pequeños en archivos grandes que los motores Iceberg puedan leer.
La compatibilidad con Variant en las tablas de S3 se encuentra disponible en las siguientes regiones de AWS: este de EE. UU. (norte de Virginia), este de EE. UU. (Ohio), oeste de EE. UU. (Oregón), Asia-Pacífico (Mumbai), Asia-Pacífico (Seúl), Asia-Pacífico (Singapur), Asia-Pacífico (Sídney), Asia-Pacífico (Tokio), Canadá (centro), Europa (Fráncfort), Europa (Irlanda), Europa (Londres), Europa (París), Europa (Estocolmo) y América del Sur (São Paulo).
Para obtener más información, consulte las tablas de Amazon S3 y las Recomendaciones de AWS para trabajar con la versión 3 de la especificación del formato de tablas de Iceberg.