В Amazon Redshift добавлена поддержка создания и обновления материализованных представлений Apache Iceberg
Amazon Redshift теперь поддерживает создание и обновление материализованных представлений Apache Iceberg. Материализованные представления предварительно вычисляют дорогостоящие соединения и агрегации один раз и сохраняют результаты в таблице Apache Iceberg в Amazon S3 или бакетах таблиц Amazon S3, зарегистрированных в Каталоге данных AWS Glue. Материализованные представления создаются с помощью знакомого SQL – CREATE MATERIALIZED VIEW ... USING ICEBERG, а результаты можно сразу запрашивать с помощью любого движка, совместимого с Iceberg, включая Amazon Athena, Apache Spark в Amazon EMR и AWS Glue, а также сторонние движки, такие как Trino или Snowflake. Redshift поддерживает их в актуальном состоянии, пересчитывая только то, что изменилось, путем ручного инкрементного обновления, а так как результаты представляют собой таблицы Iceberg в Каталоге данных Glue, ими управляют и обнаруживают их так же, как любую другую таблицу каталога.
Группы по обработке данных часто разрабатывают аналитику поэтапно, объединяя различные механизмы для очистки и преобразования необработанных данных перед их предоставлением. Это увеличивает издержки на оркестрацию конвейеров и может привести к семантическим различиям между движками. Материализованные представления Iceberg приносят пользу двумя способами. Во-первых, вместо того, чтобы сотни пользователей и групп повторно запускали одни и те же дорогостоящие объединения и агрегации и повторно сканировали исходные таблицы по каждому запросу, вы вычисляете результат один раз, и все читают предварительно вычисленную таблицу. Во-вторых, можно запустить комплексный конвейер с помощью одного движка, такого как Apache Spark, а теперь и Amazon Redshift, и все последующие пользователи будут получать один и тот же открытый результат без необходимости координировать работу нескольких движков. В любом случае на выходе получается открытая таблица Iceberg, которую любой движок может читать без копирования и преобразования. Вы по-прежнему можете загрузить эти таблицы в управляемое хранилище Redshift (RMS) в виде собственных материализованных представлений RMS для наиболее чувствительных к производительности панелей мониторинга.
Материализованные представления Iceberg можно создавать в любом регионе, в котором поддерживается Бессерверный Redshift и инстансы Graviton с выделенными ресурсами. Дополнительные сведения см. в разделах Материализованные представления, хранящиеся в виде таблиц Apache Iceberg, в Руководстве для разработчиков баз данных Amazon Redshift, справочнике по командам CREATE MATERIALIZED VIEW и публикации в блоге Материализуйте один раз, запрашивайте где угодно.