Publicado: Mar 27, 2023
Agora, o AWS Glue Crawler oferece suporte a recursos aprimorados de crawling nas regiões AWS GovCloud (EUA), simplificando a execução de crawlers com o AWS Lake Formation, descobrindo conjuntos de dados e preenchendo esquemas no Catálogo de Dados do AWS Glue.
Com os recursos aprimorados de crawling, você pode usar o Lake Formation para simplificar a configuração do crawler e oferecer suporte a permissões centralizadas para crawling em contas e entre contas de data lakes do AWS S3. Você pode reduzir os tempos de crawling usando as notificações de eventos do Amazon S3 nas tabelas do Catálogo de Dados do Glue, um recurso que simplifica a descoberta de conjuntos de dados limitando a verificação aos dados com base em eventos no Amazon S3. Agora, você pode fazer crawling em mais fontes de dados, incluindo Snowflake, MongoDB Atlas e tabelas nativas do Delta Lake, e governar com auditoria simplificada usando métricas de custo das execuções anteriores de crawlers.
Os recursos de crawling aprimorados do crawler do AWS Glue já estão disponíveis em todas as regiões comerciais, nas regiões da China e agora nas regiões AWS GovCloud (EUA). Para saber mais sobre o uso de crawlers com o Lake Formation na arquitetura de data mesh, leia o blog e acesse a documentação do crawler do AWS Glue.