Amazon MSK Connect теперь поддерживает приостановку и возобновление работы коннекторов
Amazon MSK Connect (Amazon Managed Streaming для Apache Kafka Connect) теперь поддерживает приостановку и возобновление работы коннекторов. Это позволяет временно приостанавливать обработку записей коннектором и возобновлять ее позже. Такая возможность пригодится, если нужно остановить поток данных на время обслуживания исходной базы данных или целевого приемника, а также приостановить обработку для расследования проблемы в вышестоящей или нижестоящей системе.
Amazon MSK Connect – это полностью управляемый сервис, который позволяет развертывать, отслеживать и масштабировать коннекторы Apache Kafka Connect с использованием управляемой потоковой передачи Amazon MSK для Apache Kafka. Раньше для приостановки коннектора требовалось удалить его и создать заново. Это приводило к существенным нарушениям работы, повышало риски и увеличивало эксплуатационные издержки. Теперь работающий коннектор можно приостановить и возобновить, не пересоздавая его. Приостановленный коннектор сохраняет конфигурацию, настройки пропускной способности и зафиксированные смещения, а после возобновления продолжает обработку с последних зафиксированных смещений.
Возможность доступна без дополнительной платы через Amazon MSK Console, AWS CLI, AWS SDK и AWS CDK во всех регионах AWS, где доступен Amazon MSK Connect. Подробнее см. в документации Amazon MSK Connect. Чтобы начать работу, перейдите в консоль Amazon MSK.