Amazon EMR 7.12 теперь поддерживает формат таблиц Apache Iceberg v3
Сервис Amazon EMR 7.12 теперь доступен и поддерживает новый формат таблиц Apache Iceberg v3 и Apache Iceberg 1.10. Эта версия позволяет сократить затраты на удаление данных, оптимизировать управление и соответствие нормативным требованиям путем улучшения отслеживания изменений на уровне строк, а также повысить безопасность данных за счет более детального контроля доступа к данным.
С помощью Iceberg v3 можно удалять данные с минимальными затратами, поскольку в этой версии удаленные строки отмечаются без перезаписи целых файлов, что ускоряет линии передачи данных и снижает затраты на хранение. Вы получаете более эффективные возможности управления и обеспечения соответствия нормативным требованиям за счет автоматического отслеживания истории создания и изменения каждой строки, создания журналов аудита, необходимых для соблюдения нормативных требований, и сбора данных об изменениях. Шифрование на уровне таблиц помогает повысить безопасность данных и соблюдать требования правил для самых конфиденциальных данных.
Apache Spark 3.5.6 входит в состав этого выпуска, так что вы можете использовать возможности Iceberg 1.10 для создания надежных архитектур озер данных в Amazon S3. Это также подразумевает поддержку операций по управлению данными в таблицах Iceberg с помощью AWS Lake Formation. Кроме того, этот выпуск также включает Apache Trino 476.
Amazon EMR 7.12 доступен во всех регионах AWS, где поддерживается Amazon EMR. Подробнее об Amazon EMR 7.12 см. в документации по этому выпуску.