El catálogo de datos de AWS Glue ahora admite la optimización automática de tablas de Apache Iceberg a través de Amazon VPC
El Catálogo de datos de AWS Glue ahora admite la optimización automática de las tablas de Apache Iceberg a las que solo se puede acceder desde un entorno específico de nube virtual privada (VPC) de Amazon. Puede habilitar la optimización automática proporcionando una configuración de VPC para optimizar el almacenamiento y mejorar el rendimiento de las consultas, a la vez que mantiene las tablas seguras.
El catálogo de datos de AWS Glue admite la compactación, la retención de instantáneas y la administración de archivos sin referencia, lo que le ayuda a reducir la sobrecarga de metadatos, controlar los costos de almacenamiento y mejorar el rendimiento de las consultas. Los clientes que tienen configuraciones de gobernanza y seguridad que requieren que un bucket de Amazon S3 resida en una VPC específica ahora pueden usarlo con el catálogo de Glue. Esto le brinda capacidades más amplias para la administración automática de sus datos de Apache Iceberg, independientemente de dónde estén almacenados en Amazon S3.
La optimización automática de las tablas Iceberg mediante Amazon VPC está disponible en 13 regiones de AWS: Este de EE. UU. (Norte de Virginia, Ohio), Oeste de EE. UU. (Oregón), Europa (Irlanda, Londres, Fráncfort, Estocolmo), Asia Pacífico (Tokio, Seúl, Bombay, Singapur, Sídney) y América del Sur (São Paulo). Los clientes pueden habilitarlo a través de la consola de AWS, la CLI de AWS o los SDK de AWS.
Para empezar, ahora puede proporcionar la conexión de red de Glue como una configuración adicional junto con ajustes de optimización, como el período de retención predeterminado y los días para conservar los archivos sin referencia. El catálogo de datos de AWS Glue utilizará la información de la VPC de la conexión de Glue para acceder a los buckets de Amazon S3 y optimizar las tablas de Apache Iceberg.
Para obtener más información, lea el blog y visite la documentación del catálogo de datos de AWS Glue.