Каталог данных AWS Glue теперь поддерживает экспорт метаданных в Таблицы S3 (предварительная версия)
Каталог данных AWS Glue – это централизованное хранилище метаданных, которое помогает находить и анализировать данные, а также обеспечивает семантический поиск и поддержку добавления бизнес-контекста к наборам данных, которые в настоящее время находятся на этапе предварительной версии. Сегодня мы добавляем две новые возможности в эту предварительную версию: экспорт метаданных каталога в Таблицы S3 для запроса метаданных и расширение предварительного просмотра семантического поиска на каталоги, зашифрованные с помощью ключей, управляемых клиентами Сервиса управления ключами AWS (AWS KMS).
Когда вы включаете экспорт метаданных Glue, технические и деловые метаданные вашего каталога, включая термины глоссария, пользовательские вложения метаданных и описания активов, записывается в таблицы управляемого бакета таблицы S3 с именем aws-catalog. Метаданные хранятся в формате Apache Iceberg, что позволяет выполнять запросы, проверку, а также выполнять запросы с «путешествием во времени» (time‑travel) для исторического анализа с использованием стандартного SQL в движках запросов, поддерживающих Iceberg, таких как аналитические сервисы AWS, например Amazon Athena и Amazon QuickSight, а также сторонние инструменты. Это позволяет объединить метаданные каталога с другими данными сервиса AWS для дополнительного анализа, например аудита использования глоссария и изменений метаданных. Каталоги, зашифрованные с помощью ключей, управляемых клиентами, теперь поддерживают те же функции обогащения бизнес-контекста и семантического поиска.
Эти возможности можно использовать в следующих регионах AWS: Восток США (Огайо, Северная Вирджиния), Запад США (Орегон) и Европа (Ирландия). Запросы и хранение Таблиц S3 оплачиваются в соответствии с ценами на S3. Дополнительные сведения см. в Руководстве пользователя AWS Glue.