AWS Glue теперь поддерживает федерацию каталогов для удаленных каталогов Apache Iceberg в регионах AWS GovCloud (США)
AWS Glue теперь поддерживает федерацию каталогов для удаленных каталогов REST Iceberg в регионах AWS GovCloud (США). C помощью аналитических движков AWS она обеспечивает прямой защищенный доступ к размещенным в Amazon S3 таблицам Iceberg, метаданные которых находятся в удаленных каталогах.
Федерация каталогов позволяет получать доступ к таблицам Iceberg в удаленных каталогах через удобные аналитические движки AWS без переноса и копирования таблиц. Она в реальном времени синхронизирует метаданные между Каталогом данных AWS Glue и удаленным каталогом, когда специалисты по работе с данными выполняют запросы к таблицам Iceberg, благодаря чему результаты запросов всегда содержат актуальные метаданные. Теперь, при анализе удаленных таблиц Iceberg с помощью предпочтительных аналитических движков AWS, можно выбирать оптимальное соотношение цены и производительности для рабочих нагрузок, сохраняя при этом согласованные механизмы контроля безопасности при обнаружении или запросе данных. Функция федерации каталогов поддерживается множеством аналитических движков, включая Amazon Redshift, Amazon EMR, Amazon Athena, AWS Glue, а также сторонними движками, такими как Apache Spark.
Управление доступом при федерации каталогов осуществляется через AWS Lake Formation, делая возможными гибкую настройку средств контроля доступа, совместное использование в рамках нескольких учетных записей и сквозную передачу доверенной идентификации при предоставлении доступа к удаленным таблицам каталога другим потребителям данных. Функция федерации каталогов интегрируется с реализациями каталогов, поддерживающими спецификации Iceberg REST.
Функция федерации каталогов доступна в консоли Lake Formation, а также через SDK и API AWS Glue и Lake Formation. Эта функция доступна всем в регионах AWS GovCloud (США – восток; США – запад). Подробнее см. в документации.