Таблицы Amazon S3 теперь поддерживают тип данных Variant для Apache Iceberg V3
Таблицы Amazon S3 теперь поддерживают тип данных Variant, определенный в спецификации Apache Iceberg версии 3 (V3). Теперь вы можете записывать полуструктурированные данные, такие как JSON, непосредственно в таблицы S3 без предварительного определения фиксированной схемы. Это позволяет быстрее обрабатывать данные и при этом эффективно выполнять аналитические запросы.
Используя тип данных Variant, движки, совместимые с Apache Iceberg V3, при записи «расщепляют» полуструктурированные данные на скрытые столбцы, генерируя статистику столбцов Parquet, которую системы выполнения запросов используют для оптимизаций, например для исключения файлов, что сокращает объем данных, сканируемых аналитическими запросами. Таблицы S3 также обеспечивают текущее обслуживание таблиц, включая сжатие столбцов Variant, что позволяет консолидировать данные из небольших файлов в большие, доступные для чтения движками Iceberg.
Поддержка Variant в Таблицах S3 доступна в следующих регионах AWS: Восток США (Огайо, Северная Вирджиния), Запад США (Орегон), Азиатско-Тихоокеанский регион (Мумбаи, Сеул, Сидней, Сингапур, Токио), Канада (Центральная), Европа (Ирландия, Лондон, Париж, Стокгольм, Франкфурт), Южная Америка (Сан-Паулу).
Дополнительные сведения см. в разделе Таблицы Amazon S3 и в Нормативном руководстве AWS по работе со спецификацией формата таблиц Iceberg версии 3.