Amazon MSK Connect がコネクタの一時停止と再開をサポート
Amazon MSK Connect (Amazon Managed Streaming for Apache Kafka Connect) は、コネクタの一時停止と再開をサポートするようになりました。これにより、コネクタによるレコードの処理を一時的に停止し、後で再開させることができます。これは、ソースデータベースやシンクターゲットのメンテナンス中にデータフローを停止する必要がある場合や、アップストリームまたはダウンストリームの問題を調査する間に処理を一時停止したい場合に便利です。
Amazon MSK Connect は、Amazon MSK (Managed Streaming for Apache Kafka) で Apache Kafka Connect コネクタのデプロイ、モニタリング、スケーリングを行えるフルマネージドサービスです。これまでコネクタを一時停止するには、一度削除してから再作成する必要がありました。これはシステムへの影響が大きく、リスクと運用上のオーバーヘッドを伴う操作でした。今回のリリースにより、稼働中のコネクタを一時停止し、準備ができた時点でその場で再開させることができます。一時停止されたコネクタは、設定、容量設定、およびコミット済みのオフセットを保持し、再開時にはタスクが最後にコミットされたオフセットから引き続き処理を実行します。
この機能は、Amazon MSK Connect が利用可能なすべての AWS リージョンにおいて、Amazon MSK コンソール、AWS CLI、AWS SDK、AWS CDK を通じて追加料金なしでご利用いただけます。詳細については、Amazon MSK Connect のドキュメントをご覧ください。使用を開始するには、Amazon MSK コンソールにアクセスしてください。