Каталог данных AWS Glue теперь поддерживает оптимизацию таблиц, статистику и поисковые боты для Apache Iceberg V3
Каталог данных AWS Glue теперь поддерживает оптимизацию таблиц, статистику и поисковые боты для таблиц Apache Iceberg версии 3 (V3). Благодаря этим новым возможностям можно автоматически поддерживать таблицы версии 3, оптимизировать их для повышения производительности запросов и обнаруживать их в Amazon S3.
Оптимизация таблиц позволяет сжимать таблицы версии 3, используя стратегии binpack, sort или z-order для повышения производительности запросов, а также удалять снимки с истекшим сроком годности и потерянные файлы для снижения затрат на хранение. Эти оптимизации поддерживают типы данных версии 3, включая варианты, геопространственные метки и временные метки с точностью до наносекунды. Можно также генерировать статистику по количеству различных значений (NDV) для таблиц версии 3, которую аналитические системы используют для эффективного планирования запросов. Кроме того, вы можете использовать поисковые боты Glue для обнаружения таблиц версии 3, хранящихся в Amazon S3, и регистрации их в Каталоге данных Glue, что сделает их доступными для запросов с помощью любых движков, совместимых с версией 3.
Эти возможности доступны для таблиц Iceberg версии 3 во всех регионах AWS, в которых доступны оптимизация таблиц Каталога данных Glue, статистика и поисковые боты. Дополнительные сведения см. в разделах Оптимизация Glue, Статистика Glue и Поисковые боты Glue в Руководстве разработчика Glue.