Amazon Redshift agora oferece suporte ao Just-In-Time (JIT) ANALYZE para tabelas do Apache Iceberg
O Amazon Redshift anuncia hoje a disponibilidade geral do recurso Just-In-Time (JIT) ANALYZE para tabelas do Apache Iceberg, permitindo que os usuários executem consultas de analytics de leitura e gravação de alta performance nas tabelas do Apache Iceberg no data lake do Redshift. O formato de tabela aberta Apache Iceberg é usado por muitos clientes para simplificar o processamento de dados em tabelas de rápida expansão e evolução armazenadas em data lakes.
Ao contrário dos data warehouses tradicionais, os data lakes geralmente carecem de estatísticas abrangentes em nível de tabela e coluna sobre os dados subjacentes, o que dificulta a escolha dos planos de execução de consulta mais adequados pelos mecanismos de consulta, sem visibilidade das estatísticas de tabela e coluna. Os planos de execução de consultas abaixo do ideal podem levar a uma performance mais lenta e menos previsível.
O “JIT ANALYZE” é um novo atributo do Amazon Redshift que coleta e utiliza automaticamente estatísticas para tabelas do Iceberg durante a execução da consulta, eliminando a coleta manual de estatísticas e fornecendo ao mecanismo de consulta as informações necessárias para gerar planos de execução de consultas ideais. O sistema usa heurística inteligente para identificar consultas que se beneficiarão das estatísticas, mantém estruturas leves de dados de esboço e cria estatísticas de alta qualidade em nível de tabela e coluna. O JIT ANALYZE oferece performance imediata, igual ao de consultas que têm estatísticas pré-calculadas, ao mesmo tempo em que fornece a base para muitas outras otimizações de performance.
O atributo JIT ANALYZE do Amazon Redshift para tabelas do Apache Iceberg agora está disponível em todas as regiões da AWS que oferecem o Amazon Redshift. Os usuários não precisam fazer nenhuma alteração ou habilitar nenhuma configuração para aproveitar essa nova otimização de consultas de data lake. Para começar, acesse a página de documentação do Guia de gerenciamento do Amazon Redshift.