Amazon Data Firehose поддерживает непрерывную репликацию изменений базы данных в таблицы Apache Iceberg в Amazon S3
Amazon Data Firehose теперь позволяет захватывать и реплицировать изменения базы данных в таблицах Apache Iceberg в Amazon S3 (предварительная версия). Эта новая функция позволяет клиентам легко передавать данные из баз данных MySQL и PostgreSQL в реальном времени непосредственно в таблицы Apache Iceberg.
Firehose – это полностью управляемый бессерверный стриминговый сервис, который позволяет клиентам захватывать, преобразовывать и доставлять потоки данных в Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake и другие места назначения для аналитики. Благодаря этой функции Firehose выполняет первоначальное полное копирование данных из выбранных таблиц базы данных, а затем непрерывно передает обновления Change Data Capture (CDC) для отражения вставок, обновлений и удалений в таблицах Apache Iceberg. Это оптимизированное решение устраняет сложные настройки конвейера данных и минимизирует влияние на производительность транзакций базы данных.
Ключевые возможности включают следующее. • Автоматическое создание таблиц Apache Iceberg, соответствующих схемам исходных баз данных • Автоматическое изменение схемы в ответ на изменения исходного кода • Выборочная репликация определенных баз данных, таблиц и столбцов
Эта предварительная версия функции доступна во всех регионах AWS, кроме Китая, регионов AWS GovCloud (США) и Азиатско-Тихоокеанского региона (Малайзия). Условия использования см. в разделе «Участие в бета-версии сервиса» в Условиях обслуживания в AWS.
Для начала работы ознакомьтесь с документацией и консолью Amazon Data Firehose.
Чтобы узнать больше об этой функции, прочтите эту публикацию в блоге AWS.