Amazon Managed Service for Apache Flink が新しい Amazon Kinesis Data Streams コネクタをリリース
Amazon Managed Service for Apache Flink で Amazon Kinesis Data Streams 用の新しい Apache Flink コネクタが提供されるようになりました。AWS が提供しているこのオープンソースコネクタは、Apache Flink 2.0 をサポートし、いくつかの拡張機能も提供します。ストリームのスケールアップまたはスケールダウン中に順序どおりの読み取りを可能にし、Apache Flink のネイティブウォーターマークがサポートされ、統一されたコネクタメトリクスによってオブザーバビリティが向上します。さらに、コネクタは AWS SDK for Java 2.x を使用しており、パフォーマンスとセキュリティ機能の強化、およびネイティブの再試行戦略をサポートしています。
Amazon Kinesis Data Streams は、サーバーレスデータストリーミンサービスであり、あらゆる規模のデータストリームをキャプチャ、処理、保存することを可能にします。Amazon Managed Service for Apache Flink を使用すると、サーバーやクラスターを管理しなくても、Apache Flink を使用してストリーミングデータをリアルタイムで簡単に変換および分析できます。新しいコネクタを使用すると、Kinesis Data Stream ソースからのデータを使用して Apache Flink アプリケーションでリアルタイム処理を行うことができ、Kinesis Data Streams の宛先にデータを送り返すこともできます。Apache Flink バージョン 1.19 以降で新しいコネクタを使用して Kinesis データストリームからデータを読み取ることができます。
Apache Flink Amazon Kinesis Data Streams コネクタの詳細については、Apache Flink の公式ドキュメントを参照してください。Apache AWS コネクタの GitHub リポジトリを確認することもできます。