Amazon S3 теперь поддерживает сжатие с сортировкой и z-упорядочением для таблиц Apache Iceberg
Amazon S3 теперь поддерживает сжатие с применением сортировки или z-упорядочения для таблиц Apache Iceberg. Эти функции доступны как в таблицах Amazon S3, так и в корзинах S3 общего назначения при использовании оптимизации Каталога данных AWS Glue. Сжатие с сортировкой в таблицах Iceberg сводит к минимуму количество файлов данных, сканируемых движками запросов, что позволяет повысить производительности запросов и уменьшить затраты. Сжатие с z-упорядочением дает дополнительные преимущества в производительности благодаря эффективному урезанию файлов при запросе одновременно по нескольким столбцам.
Таблицы S3 обеспечивают полностью управляемый интерфейс, и при сжатии таблиц с заданным в метаданных порядком сортировки к столбцам применяется иерархическая сортировка автоматически. Если нескольким предикатам запросов необходимо назначить одинаковый приоритет, то можно включить сжатие с z-упорядочением через API обслуживания таблиц S3. Если вы используете таблицы Iceberg в корзинах S3 общего назначения, можно включить оптимизацию в консоли Каталога данных AWS Glue и указать предпочтительный метод сжатия.
Эти дополнительные возможности сжатия поддерживаются во всех регионах AWS, где доступны таблицы S3 или оптимизация с использованием Каталога данных AWS Glue. Дополнительные сведения см. в блоге AWS News, в документации по обслуживанию таблиц S3 и документации по оптимизации Каталога данных AWS Glue.