AWS Glue теперь поддерживает материализованные представления на основе Apache Iceberg
AWS Glue теперь поддерживает материализованные представления – новую функцию для команд по работе с данными, которая упрощает преобразование данных и повышает производительность запросов. Материализованные представления – это управляемые таблицы в каталоге данных AWS Glue, в которых хранятся предварительно вычисленные результаты запросов в формате Apache Iceberg. Таблицы автоматически обновляются по мере изменения исходных данных. С помощью этой функции инженеры по обработке данных и команды аналитиков смогут легко выполнять несколько этапов преобразования, от исходных данных до конечных аналитических таблиц, с меньшими трудозатратами и операционными издержками.
Теперь клиенты могут создавать материализованные представления с расписанием обновления данных, используя стандартный синтаксис Spark SQL. Сервис автоматически выполняет расписание обновлений, обнаружение изменений, инкрементальные обновления и управление вычислительной инфраструктурой. Движки Spark в Amazon Athena, Amazon EMR и AWS Glue интеллектуально переписывают запросы под использование материализованных представлений, что повышает производительность до 8 раз и снижает затраты на вычисления. С помощью движков SQL-запросов, таких как Athena и Redshift, доступ к материализованным представлениям в виде таблиц Iceberg можно получать из редакторов SQL и блокнотов Amazon SageMaker.
Материализованные представления в AWS Glue доступны в следующих регионах: Европа (Ирландия, Испания, Лондон, Париж, Стокгольм, Франкфурт), Азиатско-Тихоокеанский регион (Гонконг, Малайзия, Мумбаи, Сеул, Сидней, Сингапур, Таиланд, Токио), Восток США (Огайо, Северная Вирджиния), Южная Америка (Сан-Паулу), Запад США (Орегон, Северная Калифорния) и Канада (Центральная). Дополнительные сведения см. в разделе Работа с материализованными представлениями в руководстве по AWS Glue для разработчиков.