Amazon MSK теперь поддерживает Apache Kafka версии 4.1
Управляемая потоковая передача Amazon для Apache Kafka (Amazon MSK) теперь поддерживает Apache Kafka версии 4.1, в которой представлена предварительная версия функции очередей, новый протокол Streams Rebalance Protocol в раннем доступе, а также реплики приемлемого лидера (Eligible Leader Replicas, ELR). Помимо этих функций, Apache Kafka версии 4.1 содержит различные улучшения и исправления ошибок. Дополнительные сведения см. в примечаниях к выпуску Apache Kafka для версии 4.1
Ключевой особенностью Kafka 4.1 является появление предварительной версии функции очередей. Клиенты могут использовать множество потребителей для обработки сообщений из одних и тех же тематических разделов, что улучшает параллелизм и пропускную способность для рабочих нагрузок, требующих доставки сообщений в режиме «точка – точка». Новый протокол Streams Rebalance Protocol основан на протоколе ребалансировки потребителей из Kafka 4.0. Он расширяет возможности координации брокеров на потоки Kafka для оптимизации ребалансировки и назначения задач. Кроме того, реплики приемлемого лидера теперь включены по умолчанию для повышения доступности.
Чтобы начать использовать Apache Kafka 4.1 в Amazon MSK, просто выберите версию 4.1.x при создании нового кластера с помощью Консоли управления AWS, Интерфейса командной строки AWS (AWS CLI) или пакетов средств разработки ПО (SDK) AWS. Можно также обновить существующие выделенные кластеры MSK путем последовательного обновления на месте. Amazon MSK организует перезапуск брокеров для поддержания доступности и защиты данных во время обновления. Поддержка Kafka версии 4.1 доступна уже сегодня во всех регионах AWS, где предлагается Amazon MSK. Чтобы узнать, как начать работу, см. руководство для разработчиков по Amazon MSK.