Apresentação do AWS Glue 5.1
O AWS Glue 5.1 agora está disponível, oferecendo performance aprimorada, atualizações de segurança, recursos expandidos do Apache Iceberg e suporte de gravação do AWS Lake Formation para workloads de integração de dados.
O AWS Glue é um serviço de integração de dados escalável e sem servidor que simplifica a descoberta, a preparação, a movimentação e a integração de dados de várias fontes. Essa versão atualiza os mecanismos principais para o Apache Spark 3.5.6, o Python 3.11 e o Scala 2.12.18, trazendo melhorias de performance e segurança. Ela também atualiza o suporte para bibliotecas de formato de tabela aberta, incluindo Apache Hudi 1.0.2, Apache Iceberg 1.10.0 e Delta Lake 3.3.2.
O AWS Glue 5.1 apresenta suporte ao formato Apache Iceberg versão 3.0, adicionando valores de coluna padrão, vetores de exclusão para tabelas de mesclagem na leitura, transformações de vários argumentos e rastreamento de linhagem de linhas. Essa versão também estende o controle de acesso detalhado do AWS Lake Formation para operações de gravação (DML e DDL) do Spark DataFrames e do Spark SQL. Anteriormente, esse recurso era limitado somente às operações de leitura. O AWS Glue 5.1 também adiciona controle de acesso de tabela completa no Apache Spark para tabelas do Apache Hudi e do Delta Lake, fornecendo opções de segurança mais abrangentes para seus dados.
O AWS Glue 5.1 está disponível no Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Oregon), Europa (Irlanda), Europa (Estocolmo), Europa (Frankfurt), Europa (Espanha), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Malásia), Ásia-Pacífico (Tailândia), Ásia-Pacífico (Mumbai) e América do Sul (São Paulo). Acesse a documentação do usuário do AWS Glue para obter mais informações.