Publicado: Oct 6, 2021
Estamos anunciando o suporte para o uso do Apache Spark SQL na atualização de tabelas de metadados do Apache Hive por meio da integração do Amazon EMR com o Apache Ranger.
Em janeiro deste ano, lançamos a integração do Amazon EMR com o Apache Ranger, um recurso que permite definir e impor permissões por banco de dados, tabela e coluna quando usuários do Apache Spark acessam dados no Amazon S3 por meio do Hive Metastore. Anteriormente, mesmo com o Apache Ranger habilitado, só era possível ler dados usando comandos do Spark SQL como SHOW DATABASES e DESCRIBE TABLE. Agora, você também pode inserir dados ou atualizar as tabelas de metadados do Apache Hive com estes comandos: INSERT INTO, INSERT OVERWRITE e ALTER TABLE.
Esse recurso está habilitado no Amazon EMR 6.4 nas seguintes regiões da AWS: Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Paris), Europa (Milão), Europa (Estocolmo), Canadá (Central), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Seul), Ásia-Pacífico (Singapura), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Sydney), América do Sul (São Paulo), Oriente Médio (Bahrein) e África (Cidade do Cabo).
Para começar, consulte a seguinte lista de recursos:·
Publicação do blog AWS Big Data:
- Authorize SparkSQL data manipulation on Amazon EMR using Apache Ranger
- Introducing Amazon EMR integration with Apache Ranger
Guia de gerenciamento do Amazon EMR: