O Amazon Redshift adiciona suporte para criar e atualizar visualizações materializadas do Apache Iceberg
Agora, o Amazon Redshift oferece suporte à criação e atualização de visualizações materializadas do Apache Iceberg. As visualizações materializadas pré-computam uniões e agregações caras uma vez e armazenam os resultados em uma tabela Apache Iceberg nos buckets de tabela do Amazon S3 ou do Amazon S3, registrados no catálogo de dados do AWS Glue. As visualizações materializadas são criadas usando o SQL familiar — CREATE MATERIALIZED VIEW... USANDO O ICEBERG, os resultados podem ser consultados instantaneamente por qualquer mecanismo compatível com o Iceberg, incluindo Amazon Athena, Apache Spark no Amazon EMR e AWS Glue, e mecanismos de terceiros, como Trino ou Snowflake. O Redshift os mantém atualizados recalculando somente o que mudou com a atualização incremental manual e, como os resultados são tabelas Iceberg no Glue Data Catalog, eles são governados e descobertos como qualquer outra tabela do catálogo.
As equipes de dados geralmente criam análises em etapas, unindo mecanismos diferentes para limpar e transformar dados brutos antes de disponibilizá-los. Isso aumenta os custos operacionais de orquestração do pipeline e pode introduzir diferenças semânticas entre os mecanismos. As visões materializadas do Iceberg agregam valor de duas maneiras. Primeiro, em vez de centenas de usuários e equipes executarem novamente as mesmas uniões e agregações caras e digitalizarem novamente as tabelas de origem em cada consulta, você calcula o resultado uma vez e todos lêem a tabela pré-computada. Em segundo lugar, você pode executar um pipeline de ponta a ponta usando um único mecanismo, como o Apache Spark e agora o Amazon Redshift, e cada consumidor downstream compartilha o mesmo resultado aberto sem a sobrecarga de orquestrar vários mecanismos. De qualquer forma, a saída é uma tabela Iceberg aberta que qualquer mecanismo pode ler sem cópias ou conversão. Você ainda pode carregar essas tabelas no Redshift Managed Storage (RMS) como visualizações materializadas do RMS nativo para seus painéis mais sensíveis ao desempenho.
Você pode criar visualizações materializadas do Iceberg em qualquer região em que haja suporte para instâncias do Redshift Serverless e do Graviton provisionadas. Para saber mais, consulte Visualizações materializadas armazenadas como tabelas do Apache Iceberg no Guia do desenvolvedor do banco de dados do Amazon Redshift, a referência do comando CREATE MATERIALIZED VIEW e a postagem do blog Materialize once, query anywhere.