Репликатор Amazon MSK теперь поддерживает репликацию из внешних кластеров Apache Kafka в стандартные брокеры MSK
Репликатор Amazon MSK теперь поддерживает репликацию данных из внешних кластеров Apache Kafka, в том числе локальных, самоуправляемых на базе AWS или других облачных провайдеров, в экспресс-брокеры Amazon MSK Standard. Эта возможность расширяет поддержку репликации на брокеры MSK Standard в дополнение к существующей поддержке брокеров MSK Express. Благодаря этому обновлению вы сможете переносить рабочие нагрузки на брокеры MSK Standard, поддерживать аварийное восстановление, используя кластеры MSK в качестве целевого средства резервного переключения или резервного копирования, а также обеспечить распределение данных между гибридными и многооблачными средами.
Репликатор MSK – это функция Amazon MSK, которая автоматизирует репликацию данных между кластерами Kafka, устраняя необходимость в управлении собственной инфраструктурой репликации или настройке инструментов с открытым исходным кодом. Ранее MSK Replicator поддерживал репликацию с внешних кластеров Apache Kafka только на брокеры MSK Express. Благодаря этому обновлению теперь вы также можете реплицировать данные из внешних кластеров Kafka брокерам MSK Standard, используя аутентификацию SASL/SCRAM или взаимную аутентификацию TLS (MTLS) для подключения к внешним кластерам. Также возможна репликация данных из Amazon MSK Standard во внешние кластеры Kafka для безопасного возврата на основной ресурс после сбоя или распределения данных в многооблачной среде. В отличие от самоуправляемых инструментов репликации инструмент MSK позволяет сохранять оригинальные названия тем Kafka, не допуская возникновения бесконечных циклов репликации. Он также синхронизирует смещения групп потребителей в двух направлениях, что позволяет перемещать производителей и потребителей данных из кластера в кластер в любом порядке, независимо друг от друга и без риска потери данных.
Эта новая возможность поддерживается во всех регионах AWS, в которых доступен Репликатор Amazon MSK. Дополнительные сведения вы найдете в документации по Репликатору MSK, на странице продукта, странице цен и в публикации в блоге AWS.