Publicado en: Oct 6, 2021
Anunciamos la compatibilidad de Apache Spark SQL para actualizar las tablas de metadatos de Apache Hive cuando se utiliza la integración de Amazon EMR con Apache Ranger.
El pasado mes de enero, lanzamos la integración de Amazon EMR con Apache Ranger, una característica que le permite definir y aplicar permisos a nivel de base de datos, de tabla y de columna cuando los usuarios de Apache Spark acceden a datos en Amazon S3 mediante Hive Metastore. Anteriormente, cuando Apache Ranger estaba habilitado, tan solo podía leer datos mediante declaraciones de Spark SQL como, por ejemplo, SHOW DATABASES y DESCRIBE TABLE (Mostrar bases de datos y Describir tabla). Ahora, puede introducir datos en las tablas de metadatos de Apache Hive o bien actualizarlas mediante las siguientes declaraciones: INSERT INTO (Insertar en), INSERT OVERWRITE (Insertar sobreescritura) y ALTER TABLE (Modificar tabla).
Esta característica se encuentra habilitada en Amazon EMR 6.4 en las siguientes regiones de AWS: EE. UU. Este (Norte de Virginia), EE. UU. Este (Ohio), EE. UU. Oeste (Norte de California), EE. UU. Oeste (Oregón), Europa (Fráncfort), Europa (Irlanda), Europa (Londres), Europa (París), Europa (Milán), Europa (Estocolmo), Canadá (Central), Asia-Pacífico (Mumbai), Asia-Pacífico (Seúl), Asia-Pacífico (Singapur), Asia-Pacífico (Hong Kong), Asia-Pacífico (Tokio), Asia-Pacífico (Sídney), América del Sur (São Paulo), Medio Oriente (Baréin) y África (Ciudad del Cabo).
Para comenzar, consulte la siguiente lista de recursos:·
Blog de AWS sobre big data:
- Authorize SparkSQL data manipulation on Amazon EMR using Apache Ranger
- Introducing Amazon EMR integration with Apache Ranger
Guía de administración de Amazon EMR: