Publicado: Jul 7, 2023
Agora, os crawlers do AWS Glue oferecem suporte a tabelas do Apache Iceberg, simplificando a adoção do Catálogo de Dados do AWS Glue como catálogo para tabelas Iceberg e migrando de outros catálogos do Iceberg. O Apache Iceberg é um formato de tabela de código aberto para dados armazenados em data lakes que ajuda engenheiros de dados a lidar com desafios complexos, como gerenciar conjuntos de dados em constante evolução, sem afetar a performance das consultas. Com o lançamento de hoje, você pode registrar automaticamente as tabelas do Iceberg no Catálogo do Glue executando o crawler do Glue. Em seguida, você pode consultar as tabelas do Iceberg no Catálogo do Glue em vários mecanismos de análise e aplicar permissões detalhadas do Lake Formation nas consultas efetuadas pelo Amazon Athena.
Quando migra de outros catálogos do Iceberg, você pode criar e agendar um crawler do Glue e fornecer um ou mais caminhos do Amazon S3 onde as tabelas do Iceberg estão localizadas. Você tem a opção de especificar a profundidade máxima dos caminhos do S3 que o crawler do Glue pode percorrer. A cada execução, o crawler do Glue extrai as informações do esquema e atualiza o Catálogo do Glue com as alterações do esquema. O crawler do Glue oferece suporte à mesclagem de esquemas entre snapshots e atualiza a localização mais recente do arquivo de metadados no Catálogo do Glue que os mecanismos analíticos da AWS podem usar diretamente.
O suporte ao crawler do AWS Glue para tabelas nativas do Iceberg está disponível em todas as regiões comerciais em que o AWS Glue é oferecido. Consulte a tabela de regiões da AWS. Para saber mais, acesse a documentação do crawler do AWS Glue.