Publicado: Mar 14, 2023
O Amazon EMR tem o prazer de anunciar um novo recurso que permite aos usuários aplicar permissões por tabela e coluna baseadas no AWS Lake Formation ao data lake do Amazon S3 para operações de gravação (ou seja, INSERT INTO, INSERT OVERWRITE) com trabalhos do Apache Hive enviados usando a API Steps do Amazon EMR. Esse recurso permite que administradores de dados definam e apliquem segurança detalhada por tabela e coluna para clientes que acessam dados por meio do Apache Hive executado no Amazon EMR.
A integração do Amazon EMR com o AWS Lake Formation permite que você defina e aplique permissões por banco de dados, tabelas e colunas com mecanismos de processamento de dados de código aberto, como o Apache Spark e o Apache Hive, executados no Amazon EMR. Antes desta versão, os administradores de dados podiam definir e aplicar permissões baseadas em Lake Formation em bancos de dados, tabelas e colunas para workloads somente de leitura com o Apache Hive no EMR. Com a versão atual, você já pode usar o Hive para gravar ou alterar tabelas habilitadas para o Lake Formation. Isso significa que você pode aplicar permissões por banco de dados, tabela e coluna baseadas em Lake Formation quando os clientes estiverem executando consultas INSERT INTO, INSERT OVERWRITE e ALTER TABLE. Para usar as permissões baseadas no Lake Formation, os clientes devem usar o Catálogo de Dados do Glue como metastore.
Esse recurso está disponível com o Amazon EMR versão 6.10 para o Amazon EMR em clusters EC2 em todas as regiões em que o Amazon EMR é oferecido. Para começar, consulte a seção Integrar o Amazon EMR com o AWS Lake Formation na documentação do Amazon EMR.