Репликатор MSK теперь поддерживает репликацию из внешних кластеров Apache Kafka в экспресс-брокеры MSK
Репликатор Amazon MSK теперь поддерживает репликацию данных из внешних кластеров Apache Kafka, в том числе локальных, самоуправляемых на базе AWS или других облачных провайдеров, в экспресс-брокеры Amazon MSK. Эта возможность упрощает перенос рабочих нагрузок в экспресс-брокеры MSK, поддерживает аварийное восстановление за счет использования кластеров на базе MSK Express для резервного переключения или копирования данных, а также обеспечивает распределение данных в гибридных и многооблачных средах.
Репликатор MSK – это функция Amazon MSK, которая автоматизирует репликацию данных между кластерами Kafka, устраняя необходимость в управлении собственной инфраструктурой репликации или настройке инструментов с открытым исходным кодом. Экспресс-брокеры MSK призваны обеспечить втрое большую пропускную способность каждого брокера, в 20 раз более быстрое вертикальное масштабирование и на 90 % меньшее время восстановления по сравнению со стандартными брокерами для Apache Kafka. С этим обновлением Репликатор MSK стало можно использовать для репликации данных из внешних кластеров Kafka в экспресс-брокеры Amazon MSK. Также возможна репликация данных из Amazon MSK Express во внешние кластеры Kafka для безопасного возвращения на основной ресурс после сбоя или распределения данных в многооблачной среде. В отличие от самоуправляемых инструментов репликации инструмент MSK позволяет сохранять оригинальные названия тем Kafka, не допуская возникновения бесконечных циклов репликации. Он также синхронизирует смещения групп потребителей в двух направлениях, что позволяет перемещать производителей и потребителей данных из кластера в кластер в любом порядке, независимо друг от друга и без риска потери данных.
Эта возможность поддерживается во всех регионах AWS, где доступны экспресс-брокеры MSK.
Чтобы узнать больше, посмотрите демонстрационное видео на YouTube или ознакомьтесь с документацией по Репликатору MSK, страницей продукта, страницей цен и публикацией в блоге AWS.