Catálogo de Dados do AWS Glue já oferece suporte à otimização automática de tabelas do Apache Iceberg por meio da Amazon VPC
O Catálogo de Dados do AWS Glue agora oferece suporte à otimização automática das tabelas do Apache Iceberg que só podem ser acessadas de um ambiente específico da Amazon Virtual Private Cloud (Amazon VPC). Você pode ativar a otimização automática fornecendo uma configuração de VPC para otimizar o armazenamento e melhorar a performance das consultas, mantendo suas tabelas seguras.
O Catálogo de Dados do AWS Glue oferece suporte à compactação, à retenção de snapshots e ao gerenciamento de arquivos não referenciados que ajudam a reduzir a sobrecarga de metadados, controlar os custos de armazenamento e melhorar a performance das consultas. Os clientes que têm configurações de governança e segurança que exigem que um bucket do Amazon S3 resida em uma VPC específica agora podem usá-lo com o Catálogo do Glue. Isso oferece recursos mais amplos para o gerenciamento automático de seus dados do Apache Iceberg, independentemente de onde eles estejam armazenados no Amazon S3.
A otimização automática para tabelas do Iceberg por meio da Amazon VPC está disponível em 13 regiões da AWS: Leste dos EUA (N. da Virgínia, Ohio), Oeste dos EUA (Oregon), Europa (Irlanda, Londres, Frankfurt, Estocolmo), Ásia-Pacífico (Tóquio, Seul, Mumbai, Singapura, Sydney), América do Sul (São Paulo). Os clientes podem habilitar isso por meio do Console da AWS, da AWS CLI ou dos SDKs da AWS.
Para começar a usá-la, agora você pode fornecer a conexão de rede do Glue como uma configuração adicional, juntamente com configurações de otimização, como período de retenção padrão e dias para manter os arquivos não referenciados. O Catálogo de Dados do AWS Glue usará as informações da VPC na conexão do Glue para acessar os buckets do Amazon S3 e otimizar as tabelas do Apache Iceberg.
Para saber mais, leia o blog e consulte a documentação do Catálogo de Dados do AWS Glue.