AWS Glue анонсирует функцию федерации каталогов для удаленных каталогов Apache Iceberg
AWS Glue объявляет о всеобщей доступности функции федерации для удаленных каталогов Iceberg. C помощью аналитических движков AWS она обеспечивает прямой защищенный доступ к размещенным в Amazon S3 таблицам Iceberg, метаданные которых находятся в удаленных каталогах.
Федерация каталогов позволяет получать доступ к удаленным каталогам Iceberg и выполнять запросы к удаленным таблицам Iceberg через удобные аналитические движки AWS без переноса и копирования таблиц. Эта функция в режиме реального времени синхронизирует метаданные между каталогом данных AWS Glue и удаленными каталогами, когда специалисты по работе с данными выполняют запросы к удаленным таблицам, благодаря чему результаты запросов всегда остаются актуальными. Теперь, при анализе удаленных таблиц Iceberg с помощью предпочтительных аналитических движков AWS, можно выбирать оптимальное соотношение цены и производительности для рабочих нагрузок, сохраняя при этом согласованные механизмы контроля безопасности при обнаружении или запросе данных. Функция федерации каталогов поддерживается множеством аналитических движков, включая Amazon Redshift, Amazon EMR, Amazon Athena, AWS Glue, а также сторонними движками, такими как Apache Spark и Amazon SageMaker с бессерверными ноутбуками.
Управление доступом при федерации каталогов осуществляется через AWS Lake Formation, делая возможными гибкую настройку средств контроля доступа, совместное использование в рамках нескольких учетных записей и сквозную передачу доверенной идентификации при предоставлении доступа к удаленным таблицам каталога другим потребителям данных. Функция федерации каталогов интегрируется с реализациями каталогов, поддерживающими спецификации Iceberg REST.
Функция федерации каталогов доступна в консоли Lake Formation, а также через SDK и API AWS Glue и Lake Formation. Данная функция является общедоступной во всех коммерческих регионах AWS, где предоставляются AWS Glue и Lake Formation. Всего за несколько кликов в консоли можно выполнить федерацию с удаленными каталогами, обнаружить их базы данных и таблицы, предоставить разрешения на доступ к данным таблиц и сделать запросы к удаленным таблицам Iceberg с помощью аналитических движков AWS. Подробнее см. в документации.