O AWS Glue agora oferece suporte à federação de catálogos remotos do Apache Iceberg nas regiões AWS GovCloud (EUA)
O AWS Glue agora oferece suporte à federação de catálogos remotos do Iceberg REST nas regiões AWS GovCloud (EUA). Esse recurso fornece acesso direto e seguro às tabelas do Iceberg armazenadas no Amazon S3 e catalogadas em catálogos remotos usando os mecanismos de analytics da AWS.
Com a federação de catálogos, você pode federar em catálogos remotos do Iceberg e consultar tabelas remotas do Iceberg usando seus mecanismos de analytics da AWS preferidos, sem mover ou copiar tabelas. Ele sincroniza metadados em tempo real entre o Catálogo de Dados do AWS Glue e o catálogo remoto quando as equipes de dados consultam tabelas do Iceberg, o que significa que os resultados da consulta estão sempre atualizados com os metadados mais recentes. Agora você pode escolher a melhor relação preço-performance para suas workloads ao analisar tabelas remotas do Iceberg usando seus mecanismos de analytics da AWS preferidos, mantendo controles de segurança consistentes ao descobrir ou consultar dados. A federação de catálogos é suportada por uma grande variedade de mecanismos de análise, incluindo Amazon Redshift, Amazon EMR, Amazon Athena, AWS Glue e mecanismos de terceiros, como o Apache Spark.
A federação de catálogos usa o AWS Lake Formation para controles de acesso, permitindo usar controles de acesso detalhados, compartilhamento entre contas e propagação de identidade confiável ao compartilhar tabelas de catálogos remotos com outros consumidores de dados. A federação de catálogos se integra às implementações de catálogos que oferecem suporte às especificações REST do Iceberg.
A federação de catálogos está disponível no console do Lake Formation e usando SDKs e APIs do AWS Glue e do Lake Formation. Esse recurso agora está disponível nas regiões AWS GovCloud (Leste dos EUA) e AWS GovCloud (Oeste dos EUA). Para saber mais, acesse a documentação.