Amazon MSK теперь поддерживает миграцию с Apache ZooKeeper на KRaft на месте
Управляемая потоковая передача Amazon для Apache Kafka (Amazon MSK) теперь поддерживает миграцию с Apache ZooKeeper на KRaft на месте, что позволяет клиентам переносить существующие кластеры на KRaft без выделения новой инфраструктуры, миграции данных или перенастройки клиентских приложений.
KRaft – это консенсусный протокол Apache Kafka, который устраняет зависимость от Apache ZooKeeper для управления метаданными. KRaft переносит управление метаданными с внешних узлов ZooKeeper на группу контроллеров в самом Kafka, что позволяет хранить метаданные и реплицировать их в виде тем в брокерах Kafka. Это приводит к более быстрому распространению метаданных, повышению масштабируемости и упрощению кластерной архитектуры. Kafka 3.9.x – последняя версия, поддерживающая ZooKeeper, а Kafka 4.x поддерживает только KRaft. Такая миграция на месте позволяет клиентам легко перейти на KRaft на существующих кластерах и выполнить обновление до Kafka 4.x.
Для начала работы клиенты сначала выполняют обновление до Kafka 3.9.x, если используют более старую версию, а затем могут начать миграцию, и кластер останется доступным на протяжении всего процесса. Все шаги можно выполнить с помощью консоли MSK, интерфейса командной строки или API AWS. Миграция с Apache Zookeeper на KRaft на месте доступна сегодня во всех регионах AWS, в которых предлагается сервис Amazon MSK, за исключением European Sovereign Cloud (Германия). Как начать работу с сервисом, см. в руководстве разработчика по Amazon MSK.