Publicado: Dec 19, 2022
Agora, os crawlers do AWS Glue agora oferecem suporte aprimorado para tabelas do Delta Lake da Linux Foundation, aumentando a eficiência operacional na extração de insights significativos com serviços de análise como Amazon Athena, Amazon EMR e AWS Glue. Esse recurso permite que serviços de análise examinem tabelas do Delta Lake, sem exigir a criação de arquivos de manifesto pelos crawlers do Glue. Agora, os dados recém-catalogados são disponibilizados rapidamente para análise em suas ferramentas preferidas de análise e machine learning (ML).
Antes, os crawlers do Glue ofereciam suporte a tabelas Delta Lake criando arquivos de manifesto no Amazon S3 para consumo por diferentes serviços de análise. Os crawlers do Glue precisavam gerar arquivos de manifesto periodicamente para incluir transações mais recentes nas tabelas originais do Delta Lake, resultando em tempos de processamento mais longos.
Com o lançamento de hoje, você pode criar e programar um crawler do Glue com a opção de criar tabelas nativas do Delta Lake e fornecer um caminho para o local das tabelas do Delta Lake no Amazon S3. A cada execução, o crawler inspeciona e cataloga as informações de esquemas e partições, como atualizações ou exclusões, nas tabelas do Delta Lake no Catálogo de Dados do Glue.
O suporte do crawler do AWS Glue para tabelas nativas do Delta Lake está disponível em todas as regiões comerciais em que o AWS Glue é oferecido. Consulte a tabela de regiões da AWS. O suporte aprimorado para Delta Lake está disponível no mecanismo do Athena versão 3.0 e no Glue versão 3.0 ou posterior. Para saber mais, leia o blog e acesse a documentação sobre os crawlers do AWS Glue.