AWS Glue anuncia federação de catálogos para catálogos remotos do Apache Iceberg
O AWS Glue anuncia a disponibilidade geral da federação de catálogos para os catálogos remotos do Iceberg. Esse recurso fornece acesso direto e seguro às tabelas do Iceberg armazenadas no Amazon S3 e catalogadas em catálogos remotos usando os mecanismos de analytics da AWS.
Com a federação de catálogos, você pode federar em catálogos remotos do Iceberg e consultar tabelas remotas do Iceberg usando seus mecanismos de analytics da AWS preferidos, sem mover ou copiar tabelas. Ele sincroniza metadados em tempo real no Catálogo de Dados do AWS Glue e em catálogos remotos quando as equipes de dados consultam tabelas remotas, o que significa que os resultados da consulta estão sempre completamente atualizados. Agora você pode escolher a melhor relação preço-performance para suas workloads ao analisar tabelas remotas do Iceberg usando seus mecanismos de analytics da AWS preferidos, mantendo controles de segurança consistentes ao descobrir ou consultar dados. A federação de catálogos tem suporte por uma grande variedade de mecanismos de analytics, incluindo Amazon Redshift, Amazon EMR, Amazon Athena, AWS Glue, mecanismos de terceiros como o Apache Spark e o Amazon SageMaker com os cadernos sem servidor.
A federação de catálogos usa o AWS Lake Formation para controles de acesso, permitindo usar controles de acesso detalhados, compartilhamento entre contas e propagação de identidade confiável ao compartilhar tabelas de catálogos remotos com outros consumidores de dados. A federação de catálogos se integra às implementações de catálogos que oferecem suporte às especificações REST do Iceberg.
A federação de catálogos está disponível no console do Lake Formation e usando SDKs e APIs do AWS Glue e do Lake Formation. Esse atributo está disponível em todas as regiões comerciais da AWS que oferecem o AWS Glue e o Lake Formation. Com apenas alguns cliques no console, você pode federar em catálogos remotos, descobrir seus bancos de dados e tabelas, conceder permissões para acessar dados de tabelas e consultar tabelas remotas do Iceberg usando mecanismos de analytics da AWS. Para saber mais, consulte a documentação.