Amazon Data Firehose admite la replicación continua de los cambios en las bases de datos en las tablas de Apache Iceberg de Amazon S3
Amazon Data Firehose ahora permite capturar y replicar los cambios de la base de datos en las tablas Apache Iceberg de Amazon S3 (versión preliminar). Esta nueva característica permite a los clientes transmitir fácilmente datos en tiempo real desde bases de datos MySQL y PostgreSQL directamente a las tablas de Apache Iceberg.
Firehose es un servicio de streaming sin servidor y totalmente admnistrado que permite a los clientes capturar, transformar y entregar secuencias de datos a Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake y otros destinos para el análisis. Con esta funcionalidad, Firehose realiza una copia inicial completa de los datos de las tablas de bases de datos seleccionadas y, a continuación, transmite continuamente las actualizaciones de Change Data Capture (CDC) para reflejar las inserciones, actualizaciones y eliminaciones en las tablas de Apache Iceberg. Esta solución optimizada elimina las configuraciones complejas de canalización de datos y minimiza el impacto en el rendimiento de las transacciones de la base de datos.
Las capacidades clave incluyen: • La creación automática de tablas de Apache Iceberg que coincidan con los esquemas de las bases de datos de origen • La evolución automática del esquema en respuesta a los cambios en la fuente • La replicación selectiva de bases de datos, tablas y columnas específicas
Esta característica de versión preliminar está disponible en todas las regiones de AWS, excepto en las regiones de China, AWS GovCloud (EE. UU.) y Asia Pacífico (Malasia). Para ver los términos y condiciones, consulte el artículo Participación en el servicio beta en los términos del servicio de AWS.
Para comenzar, consulte la documentación y la consola de Amazon Data Firehose.
Para obtener más información sobre esta característica, visite la publicación del blog de AWS blog.