O Catálogo de Dados do AWS Glue agora oferece suporte à otimização de tabelas, estatísticas e crawlers para o Apache Iceberg V3
O Catálogo de Dados do AWS Glue agora oferece suporte à otimização de tabelas, estatísticas e crawlers para tabelas do Apache Iceberg versão 3 (V3). Com esses novos recursos, você pode manter automaticamente as tabelas V3, otimizá-las para o desempenho das consultas e descobri-las no Amazon S3.
Com a otimização de tabelas, você pode compactar tabelas V3 usando estratégias binpack, sort ou z-order para melhorar o desempenho da consulta e remover instantâneos expirados e arquivos órfãos para reduzir os custos de armazenamento. Essas otimizações suportam tipos de dados V3, incluindo registros de data e hora variantes, geoespaciais e de precisão de nanossegundos. Você também pode gerar estatísticas de número de valores distintos (NDV) para tabelas V3, que os mecanismos de análise usam para planejar consultas com eficiência. Além disso, você pode usar os rastreadores do Glue para descobrir tabelas V3 armazenadas no Amazon S3 e registrá-las no Catálogo de Dados do Glue, disponibilizando-as para consulta com qualquer mecanismo compatível com a V3.
Esses recursos estão disponíveis para tabelas Iceberg V3 em todas as regiões da AWS onde a otimização de tabelas, estatísticas e rastreadores do Catálogo de Dados do Glue estão disponíveis. Para saber mais, consulte Otimização do Glue, Estatísticas do Glue e Crawlers do Glue no Guia do Desenvolvedor do Glue.