O AWS Glue agora oferece suporte a visualizações materializadas baseadas no Apache Iceberg
O AWS Glue agora oferece suporte a visualizações materializadas, um novo recurso que torna mais fácil para as equipes de dados transformar dados e acelerar o desempenho das consultas. As visualizações materializadas são tabelas gerenciadas no catálogo de dados do AWS Glue que armazenam resultados de consultas pré-computadas no formato Apache Iceberg e os mantêm automaticamente atualizados à medida que os dados de origem mudam. Esse recurso foi projetado para facilitar que engenheiros de dados e equipes de análise transformem dados em vários estágios, desde dados brutos até tabelas analíticas finais, reduzindo o esforço de engenharia e a sobrecarga operacional.
Agora, os clientes podem criar visualizações materializadas usando a sintaxe padrão do Spark SQL com um cronograma de atualização de dados. O serviço gerencia automaticamente o cronograma de atualização, a detecção de alterações, as atualizações incrementais e o gerenciamento da infraestrutura computacional. Os mecanismos Spark no Amazon Athena, no Amazon EMR e no AWS Glue reescrevem consultas de forma inteligente para usar essas visualizações materializadas, acelerando o desempenho em até 8 vezes e reduzindo os custos de computação. Você pode usar mecanismos de consulta SQL como Athena e Redshift para acessar as visualizações materializadas como tabelas Iceberg de editores SQL e notebooks Amazon SageMaker.
As visualizações materializadas no AWS Glue estão disponíveis na Europa (Estocolmo), Ásia-Pacífico (Tailândia), Ásia-Pacífico (Mumbai), Europa (Paris), Leste dos EUA (Ohio), Europa (Irlanda), Europa (Frankfurt), América do Sul (São Paulo), Ásia-Pacífico (Hong Kong), Leste dos EUA (Norte da Virgínia), Ásia-Pacífico (Seul), Ásia-Pacífico (Malásia), Europa (Londres), Ásia-Pacífico (Tóquio) Oeste (Oregon), Oeste dos EUA (Norte da Califórnia), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Canadá (Central) e Europa (Espanha). Para saber mais, visite Como trabalhar com visualizações materializadas no guia do desenvolvedor do AWS Glue.