Amazon MSK Replicator unterstützt jetzt die erweiterte Consumer-Offset-Synchronisierung für die bidirektionale Replikation
Amazon MSK Replicator bietet jetzt eine verbesserte Consumer-Offset-Synchronisierung für die bidirektionale Replikation. Anwendungen können die Verarbeitung von der richtigen Stelle aus fortsetzen, wenn sie sich zwischen Kafka-Clustern bewegen. Mit dieser Funktion können Sie Producer- und Consumer-Anwendungen unabhängig und in beliebiger Reihenfolge zwischen Clustern verschieben, ohne das Risiko eines Datenverlusts einzugehen.
MSK Replicator ist ein Feature von Amazon MSK, die die Datenreplikation zwischen Kafka-Clustern automatisiert, sodass keine benutzerdefinierte Replikationsinfrastruktur verwaltet oder Open-Source-Tools konfiguriert werden müssen. Bisher wurden bei der bidirektionalen Replikation mit MSK Replicator Consumer-Gruppen-Offsets nur synchronisiert, wenn Producer und Consumer auf demselben Cluster aktiv waren. Dies erforderte eine sorgfältige Sequenzierung der Anwendungsmigrationen zwischen Clustern und erhöhte das Risiko einer doppelten Nachrichtenverarbeitung bei Rollbacks. Mit dieser Markteinführung synchronisiert MSK Replicator Offsets von Consumer-Gruppen zwischen Quell- und Zielclustern, unabhängig davon, wo die Producer ausgeführt werden, sodass Anwendungen ohne Koordinationseinschränkungen oder Datenduplizierungsrisiken zwischen Clustern wechseln können.
Sie können die erweiterte Consumer-Offset-Synchronisierung aktivieren, wenn Sie einen Replicator mithilfe der Amazon-MSK-Konsole, AWS-CLI oder AWS CloudFormation erstellen. Diese Funktion wird in allen AWS-Regionen unterstützt, in denen MSK Replicator verfügbar ist.
Weitere Informationen finden Sie in der Dokumentation zu MSK Replicator, auf der Produktseite sowie auf der Preisseite und in diesem AWS-Blogbeitrag.