AWS Glue permite mejorar las capacidades de Apache Spark para las tablas de AWS Lake Formation con acceso total a las tablas
AWS Glue ahora admite operaciones de lectura y escritura de trabajos de Apache Spark de AWS Glue 5.0 en tablas registradas de AWS Lake Formation cuando el rol de trabajo tiene acceso total a la tabla. Esta capacidad habilita las operaciones del lenguaje de manipulación de datos (DML), incluidas las instrucciones CREATE, ALTER, DELETE, UPDATE y MERGE INTO en tablas de Apache Hive e Iceberg desde la misma aplicación de Apache Spark.
Si bien el control de acceso detallado (FGAC) de Lake Formation ofrece controles de seguridad granulares a nivel de fila, columna y celda, muchas cargas de trabajo de extracción, transformación y carga (ETL) simplemente necesitan acceso total a la tabla. Esta nueva característica permite a los trabajos de AWS Glue 5.0 Spark leer y escribir datos directamente cuando se concede acceso total a la tabla. Así, se eliminan las limitaciones que anteriormente restringían determinadas operaciones de extracción, transformación y carga (ETL). Ahora puede aprovechar las capacidades avanzadas de Spark, incluidos los conjuntos de datos distribuidos resilientes (RDD), las bibliotecas personalizadas y las funciones definidas por el usuario (UDF) con las tablas de Lake Formation. Además, los equipos de datos pueden ejecutar aplicaciones de Spark complejas e interactivas a través de SageMaker Unified Studio en modo de compatibilidad y, al mismo tiempo, mantener los límites de seguridad a nivel de tabla de Lake Formation.
Esta característica está disponible en todas las regiones de AWS en las que se admiten AWS Glue y AWS Lake Formation. Para obtener más información, visite la página del producto y la documentación de AWS Glue.