AWS Glue habilita recursos aprimorados do Apache Spark para tabelas do AWS Lake Formation com acesso total às tabelas
Agora, o AWS Glue oferece suporte a operações de leitura e gravação de trabalhos do Apache Spark do AWS Glue 5.0 em tabelas registradas do AWS Lake Formation quando a função de trabalho tem acesso total à tabela. Esse recurso permite operações de Linguagem de Manipulação de Dados (DML), incluindo as instruções CREATE, ALTER, DELETE, UPDATE e MERGE INTO nas tabelas do Apache Hive e do Iceberg a partir da mesma aplicação do Apache Spark.
Embora o controle de acesso refinado (FGAC) do Lake Formation ofereça controles de segurança granulares nos níveis de linha, coluna e célula, muitas workloads de ETL simplesmente precisam de acesso total à tabela. Esse novo atributo permite que os trabalhos do Spark do AWS Glue 5.0 leiam e gravem dados diretamente quando o acesso total à tabela é concedido, removendo as limitações que anteriormente restringiam determinadas operações de extração, transformação e carregamento (ETL). Agora você pode aproveitar os recursos avançados do Spark, incluindo conjuntos de dados distribuídos resilientes (RDDs), bibliotecas personalizadas e funções definidas pelo usuário (UDFs) com tabelas do Lake Formation. Além disso, as equipes de dados podem executar aplicações do Spark complexas e interativas por meio do SageMaker Unified Studio no modo de compatibilidade, mantendo os limites de segurança em nível de tabela do Lake Formation.
Esse atributo está disponível em todas as regiões da AWS nas quais o AWS Glue e o AWS Lake Formation são oferecidos. Para saber mais, acesse a página de produto e a documentação do AWS Glue.