Publicado: Feb 24, 2023
Os Crawlers do AWS Glue agora se integram ao AWS Lake Formation, simplificando a configuração do rastreador e oferecendo suporte a permissões centralizadas para o crawling em contas e entre contas dos data lakes do AWS S3.
Os Crawlers do AWS Glue são usados para descobrir conjuntos de dados, extrair informações do esquema e preencher o Catálogo de Dados do AWS Glue. Antes dessa integração, você precisava configurar políticas de bucket do Amazon IAM e do Amazon S3 para acesso do crawler aos destinos de data lake do S3. Os clientes que usam o Lake Formation para gerenciar esses destinos preferiram ter todas as permissões centralizadas no Lake Formation em vez de configurar o acesso direto ao S3 para a função de crawler. Com essa integração do Crawler do Glue e do Lake Formation, agora você pode usar as permissões do Lake Formation para o acesso do crawler às suas tabelas gerenciadas do Lake Formation.
Quando você configura o Crawler do AWS Glue para usar o Lake Formation, por padrão, o crawler usa o Lake Formation na mesma conta para obter credenciais de acesso aos dados. No entanto, você também pode configurar o crawler para usar o Lake Formation para uma conta diferente fornecendo um ID de conta durante a criação. O recurso entre contas permite que os clientes gerenciem as permissões a partir de uma conta de governança central. Os clientes preferem a experiência de governança central em vez de escrever políticas de bucket separadamente em cada conta proprietária do bucket. Para criar uma arquitetura de data mesh, você pode criar permissões em uma única governança do Lake Formation para gerenciar o acesso a locais e crawlers de dados abrangendo várias contas em seu data lake.
O suporte do Crawler do AWS Glue para Lake Formation geralmente está disponível em todas as regiões nas quais o AWS Glue e o Lake Formation são oferecidos. Para obter uma lista de regiões, consulte a tabela de regiões da AWS. Para saber mais, leia a publicação no blog e acesse a documentação do Crawler do AWS Glue.