Amazon Data Firehose oferece suporte à replicação contínua de alterações do banco de dados nas tabelas do Apache Iceberg no Amazon S3
Agora, o Amazon Data Firehose permite a captura e a replicação de alterações do banco de dados nas tabelas do Apache Iceberg no Amazon S3 (versão prévia). Esse novo atributo permite que os clientes transmitam facilmente dados em tempo real dos bancos de dados MySQL e PostgreSQL diretamente para as tabelas do Apache Iceberg.
O Firehose é um serviço de streaming sem servidor totalmente gerenciado que permite aos clientes capturar, transformar e entregar fluxos de dados no Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake e outros destinos para analytics. Com essa funcionalidade, o Firehose executa uma cópia inicial completa dos dados das tabelas selecionadas do banco de dados e, em seguida, transmite continuamente as atualizações da Change Data Capture (CDC – Captura de Dados de Alterações) para refletir inserções, atualizações e exclusões nas tabelas do Apache Iceberg. Essa solução simplificada elimina configurações complexas do pipeline de dados e minimiza o impacto na performance das transações do banco de dados.
Os principais recursos incluem: • Criação automática de tabelas do Apache Iceberg que correspondam aos esquemas do banco de dados de origem • Evolução automática do esquema em resposta às mudanças na origem • Replicação seletiva de bancos de dados, tabelas e colunas específicos
Esse atributo em versão prévia está disponível em todas as regiões da AWS, exceto China, AWS GovCloud (EUA) e Ásia-Pacífico (Malásia). Para ver os termos e condições, consulte Participação do Serviço Beta nos Termos de Serviço da AWS.
Para começar a usá-lo, acesse a documentação e o console do Amazon Data Firehose.
Para saber mais sobre esse atributo, acesse esta publicação do blog da AWS.