В Amazon EMR на EC2 добавлена встроенная поддержка Apache Spark в формате FGAC и представлений Каталога данных AWS Glue
Amazon EMR на платформе EC2 объявляет о двух значительных улучшениях управления: встроенном в Apache Spark высокоточном контроле доступа (FGAC) через AWS Lake Formation и поддержке представлений Каталога данных AWS Glue. Эти функции позволяют организациям повысить безопасность данных, упростить управление доступом и расширить возможности обмена данными в своих аналитических средах.
Собственная реализация FGAC в Apache Spark позволяет клиентам определять детальные политики доступа сразу же в AWS Lake Formation и последовательно применять их в кластерах EMR. Это снижает риски безопасности и административные издержки, обеспечивая унифицированный подход к управлению данными. Теперь клиенты могут использовать знакомые инструкции Lake Formation о предоставлении и отзыве заявок для управления доступом к своим заданиям и интерактивным сеансам Spark в EMR в EC2 аналогично тому, как это работает в других аналитических сервисах AWS.
Представления Каталога данных AWS Glue позволяют клиентам создавать и запрашивать используемые в нескольких движках SQL-представления в регионах, аккаунтах и организациях AWS, а также управлять такими представлениями. Эта функция позволяет администраторам создавать представления из заданий Spark, которые можно запрашивать из нескольких движков, одновременно контролируя доступ к данным с помощью разрешений Lake Formation. Эти разрешения включают предоставление именованных ресурсов, фильтры данных и теги. Все запросы на доступ автоматически регистрируются в AWS CloudTrail для всестороннего аудита.
Встроенные функции Apache Spark FGAC и просмотра Каталога данных Glue доступны в Amazon EMR выпуска 7.10 во всех регионах AWS, в которых доступен EMR на EC2. Дополнительные сведения см. в разделах Использование AWS Lake Formation с Amazon EMR и Работа с представлениями Каталога данных AWS Glue в документации по Amazon EMR.