投稿日: Oct 7, 2020
Apache Flink Kinesis Consumer は、Amazon Kinesis Data Streams の拡張ファンアウト (EFO) と HTTP/2 data retrieval API をサポートするようになりました。EFO により、Amazon Kinesis Data Streams のコンシューマーは、それぞれ最大 2MB /秒の専用読み取りスループットを受け取ることでスケーリングできます。HTTP/2 data retrieval API は、プロデューサーからコンシューマーへのデータ配信のレイテンシーを 70 ミリ秒以下に短縮します。これら 2 つの機能を組み合わせることで、Amazon Kinesis Data Streams の専用スループットを利用する低レイテンシーの ApacheFlink アプリケーションを構築できます。
Amazon Kinesis Data Analytics は、Apache Flink でストリーミングデータをリアルタイムで変換および分析できる最も簡単な方法です。Apache Flink はオープンソースのフレームワークであり、データストリームを処理するためのエンジンです。Amazon Kinesis Data Analytics は、Apache Flink アプリケーションの構築と管理の複雑さを軽減します。Amazon Kinesis Data Analytics for Apache Flink は、組み込みコネクターを使用して、Amazon Managed Streaming for Apache Kafka (Amazon MSK)、Amazon Kinesis Data Streams、Amazon Elasticsearch Service、Amazon DynamoDB ストリーム、Amazon S3、カスタム統合などと統合します。ApacheFlink 用の Amazon Kinesis Data Analytics の詳細については、こちら をご覧ください。
Apache Flink Kinesis Data Streams コネクターと EFO の使用を開始するには、ApacheFlink バージョン 1.8 の Maven リポジトリと GitHub リポジトリを参照してください。
Amazon Kinesis Data Analytics を利用できる場所のリストについては、AWS リージョンテーブル をご覧ください。