Поддержка аутентификации по протоколу OAuth 2.0 (SASL/OAUTHBEARER) при репликации из внешних кластеров Apache Kafka в Amazon MSK с помощью Репликатора MSK
Репликатор Amazon MSK теперь поддерживает аутентификацию по протоколу OAuth 2.0 (SASL/OAUTHBEARER) при репликации данных из внешних кластеров Apache Kafka, в том числе локальных, самоуправляемых на базе AWS или от других облачных поставщиков, в выделенные кластеры Amazon MSK. Благодаря этой возможности внешние кластеры Apache Kafka с настроенной аутентификацией OAuth/OIDC теперь могут использовать Репликатор MSK для переноса рабочих нагрузок в Amazon MSK, аварийного восстановления с указанием кластеров на базе MSK в качестве целевых при резервном переключении или копировании, а также для распределения данных между гибридными и многооблачными средами.
Репликатор MSK – это функция Amazon MSK, которая автоматизирует репликацию данных между кластерами Kafka, устраняя необходимость в управлении собственной инфраструктурой репликации или настройке инструментов с открытым исходным кодом. В прошлом для подключения к внешним кластерам Apache Kafka в Репликаторе MSK поддерживалась только аутентификация по протоколам SASL/SCRAM и mTLS. Теперь в Репликаторе MSK также запускается поддержка протокола OAuth 2.0 для репликации данных из внешних кластеров Kafka в Amazon MSK. В отличие от самоуправляемых инструментов репликации инструмент MSK позволяет сохранять оригинальные названия тем Kafka, не допуская возникновения бесконечных циклов репликации. Он также синхронизирует смещения групп потребителей в двух направлениях, что позволяет перемещать производителей и потребителей данных из кластера в кластер в любом порядке, независимо друг от друга и без риска потери данных.
Новая возможность поддерживается во всех регионах AWS, где доступен Репликатор MSK. Дополнительные сведения вы найдете в документации по Репликатору MSK, на странице продукта, странице цен и в публикации в блоге AWS.