Publicado: Jan 16, 2020
O AWS Glue agora oferece suporte a três transformações novas (Remoção, Transição e Fusão) que podem ajudar você a estender a lógica de extração, transformação e carregamento (ETL) nos aplicativos Apache Spark. Agora você pode usar a transformação de Remoção para remover arquivos, partições ou tabelas, e rapidamente refinar os conjuntos de dados no S3.
Você pode usar a transformação de Transição para migrar arquivos, partições ou tabelas para categorias de armazenamento do S3 inferiores. Também pode usar as exclusões da categoria de armazenamento do S3 do AWS Glue para excluir partições ou arquivos de leitura de categorias de armazenamento do S3 específicas nos trabalhos de ETL do Glue. A transformação de Fusão pode ser usada para combinar vários quadros dinâmicos do Glue que representam os dados em fontes do S3, Redshift, Dynamo ou JDBC com base em chaves primárias. Para saber mais, acesse a documentação sobre Remoção, Transição e Fusão.
Esse recurso é oferecido em todas as regiões onde o AWS Glue está disponível.