Каталог данных AWS Glue теперь поддерживает автоматическую оптимизацию таблиц Apache Iceberg через Amazon VPC
Каталог данных AWS Glue теперь поддерживает автоматическую оптимизацию таблиц Apache Iceberg, доступ к которым возможен только из определенной среды виртуального частного облака (VPC) Amazon. Для включения автоматической оптимизации предоставьте конфигурацию VPC. Это позволит оптимизировать хранилище и повысить производительность запросов, обеспечивая при этом безопасность таблиц.
Каталог данных AWS Glue поддерживает сжатие, хранение снимков и управление файлами без ссылок, позволяя снизить издержки на метаданные, сократить затраты на хранение и повысить производительность запросов. Клиенты, у которых есть конфигурации безопасности и управления данными, требующие размещения корзины Amazon S3 в определенном VPC, теперь могут использовать ее с Каталогом Glue. Это расширяет возможности автоматического управления данными в Apache Iceberg независимо от того, где именно в Amazon S3 они хранятся.
Автоматическая оптимизация таблиц Iceberg через Amazon VPC доступна в 13 регионах AWS: Восток США (Северная Вирджиния, Огайо), Запад США (Орегон), Европа (Ирландия, Лондон, Франкфурт, Стокгольм), Азиатско-Тихоокеанский регион (Токио, Сеул, Мумбаи, Сингапур, Сидней) и Южная Америка (Сан-Паулу). Включить эту функцию можно с помощью консоли AWS, Интерфейса командной строки AWS или пакетов AWS SDK.
Для начала работы теперь в качестве дополнительной конфигурации можно указать сетевое подключение Glue наряду с параметрами оптимизации, такими как срок хранения по умолчанию и срок хранения файлов без ссылок. Каталог данных AWS Glue будет использовать информацию о VPC из подключения Glue для доступа к корзинам Amazon S3 и оптимизации таблиц Apache Iceberg.
См. подробные сведения в блоге и документации к каталогу данных AWS Glue.