Amazon Redshift теперь поддерживает JIT ANALYZE (своевременный анализ) для таблиц Apache Iceberg
Сегодня Amazon Redshift объявляет о всеобщей доступности функции JIT ANALYZE (своевременного анализа) для таблиц Apache Iceberg, позволяющей пользователям выполнять высокопроизводительные аналитические запросы на чтение и запись к таблицам Apache Iceberg в озере данных Redshift. Многие клиенты используют формат открытых таблиц Apache Iceberg, чтобы упростить обработку данных в быстро расширяющихся и меняющихся таблицах, хранящихся в озерах данных.
В отличие от традиционных хранилищ данных в озерах данных часто отсутствует исчерпывающая статистика по базовым данным на уровне таблиц и столбцов, поэтому движкам запросов сложно выбрать наиболее оптимальные планы выполнения запросов. Неоптимальные планы выполнения запросов могут снизить производительность и сделать ее менее предсказуемой.
JIT ANALYZE – это новая функция Amazon Redshift, которая автоматически собирает и использует статистику таблиц Iceberg во время выполнения запросов, так что ее не приходится собирать вручную, а движок запросов получает информацию, необходимую для создания оптимальных планов выполнения. Система использует интеллектуальную эвристику для определения запросов, которым будет полезна статистика, поддерживает упрощенные эскизные структуры данных и составляет высококачественную статистику на уровне таблиц и столбцов. Благодаря JIT ANALYZE можно сразу же получить тот же уровень производительности, что и у запросов с предварительно рассчитанной статистикой, и реализовать множество других оптимизаций производительности.
Функция Amazon Redshift JIT ANALYZE для таблиц Apache Iceberg теперь доступна во всех регионах AWS, где предлагается Amazon Redshift. Чтобы получить преимущества этой новой оптимизации запросов к озеру данных, пользователям не нужно вносить никаких изменений и включать настройки. Для начала перейдите на страницу документации к Руководству по управлению Amazon Redshift.