Catálogo de Dados do AWS Glue oferece otimização automática avançada para tabelas do Apache Iceberg
Agora, o Catálogo de Dados do AWS Glue oferece otimização automática avançada para tabelas do Apache Iceberg. Essa atualização inclui suporte à compactação de arquivos excluídos, tipos de dados aninhados, confirmações parciais de progresso e suporte à evolução de partições, facilitando a manutenção de data lakes transacionais com performance consistente. Esses recursos abordam os desafios enfrentados por clientes com ingestão contínua de dados de streaming para tabelas do Apache Iceberg, resultando em um grande número de arquivos de exclusão que rastreiam alterações nos arquivos de dados.
Com esse novo recurso, o Catálogo de Dados do Glue monitora constantemente as partições das tabelas para arquivos de exclusão posicionais e de igualdade, inicia o processo de compactação e confirma regularmente o andamento parcial para reduzir conflitos. Agora, os otimizadores Catálogo do Glue oferecem suporte à evolução do esquema à medida que você reordena ou renomeia colunas ou altera as especificações da partição. Além disso, o Catálogo do Glue ampliou o suporte para dados complexos altamente aninhados e para os codecs de compressão do Parquet zstd, brotli, lz4, gzip e snappy. A ativação da compactação automática reduz os arquivos de exclusão e a sobrecarga de metadados das tabelas do Iceberg, além de melhorar a performance da consulta. Esses novos recursos são aplicados automaticamente aos otimizadores existentes e novos do Catálogo do Glue.
Além do Console da AWS, os clientes também podem usar a AWS CLI ou os SDKs da AWS para automatizar a otimização de tabelas do Apache Iceberg. O recurso está disponível em 14 regiões da AWS: Leste dos EUA (Norte da Virgínia, Ohio), Oeste dos EUA (Oregon), Europa (Irlanda, Londres, Frankfurt, Estocolmo), Canadá (central), Ásia-Pacífico (Tóquio, Seul, Mumbai, Singapura, Sydney), América do Sul (São Paulo). Para saber mais, leia o blog e consulte a documentação do Catálogo de Dados do AWS Glue.