Amazon Redshift añade compatibilidad para crear y actualizar vistas materializadas de Apache Iceberg
Amazon Redshift ahora admite la creación y actualización de vistas materializadas de Apache Iceberg. Las vistas materializadas calculan previamente las costosas uniones y agregaciones una vez y almacenan los resultados en una tabla de Apache Iceberg en buckets de Amazon S3 o Amazon S3 table, registrados en el catálogo de datos de AWS Glue. Las vistas materializadas se crean con el conocido SQL — CREATE MATERIALIZED VIEW ... USING ICEBERG y los resultados se pueden consultar al instante con cualquier motor compatible con Iceberg, incluidos Amazon Athena, Apache Spark en Amazon EMR y AWS Glue, y motores de terceros, como Trino o Snowflake. Redshift las mantiene actualizadas al volver a calcular solo lo que ha cambiado mediante una actualización incremental manual y, dado que los resultados son tablas Iceberg del catálogo de datos de Glue, se controlan y descubren como cualquier otra tabla de catálogo.
Los equipos de datos suelen crear análisis por etapas, uniendo diferentes motores para limpiar y transformar los datos sin procesar antes de entregarlos. Esto aumenta los gastos generales de orquestación de las canalizaciones y puede introducir diferencias semánticas entre los motores. Las vistas materializadas de Iceberg ofrecen valor de dos maneras. En primer lugar, en lugar de que cientos de usuarios y equipos vuelvan a ejecutar las mismas combinaciones y agregaciones costosas y vuelvan a escanear las tablas de origen en cada consulta, se calcula el resultado una vez y todos leen la tabla precalculada. En segundo lugar, puede ejecutar una canalización de extremo a extremo con un solo motor, como Apache Spark y ahora Amazon Redshift, y todos los consumidores posteriores comparten el mismo resultado abierto sin la sobrecarga de orquestar varios motores. De cualquier manera, el resultado es una tabla Iceberg abierta que cualquier motor puede leer sin copias ni conversiones. Puede seguir cargando estas tablas en Redshift Managed Storage (RMS) como vistas materializadas nativas de RMS para los paneles más sensibles al rendimiento.
Puede crear vistas materializadas de Iceberg en cualquier región en la que se admitan las instancias de Graviton aprovisionadas y sin servidor de Redshift. Para obtener más información, consulte las vistas materializadas almacenadas como tablas de Apache Iceberg en la Guía para desarrolladores de bases de datos de Amazon Redshift, la referencia del comando CREATE MATERIALIZED VIEW y la publicación del blog Materialice una vez, consulte desde cualquier lugar.