投稿日: Nov 25, 2019
AWS の完全マネージド型サービスを使って、Apache Flink と Apache Kafka を同時に実行させられるようになりました。AWS では、Amazon Kinesis Data Analytics を通じて Apache Flink 用の完全マネージド型サービスを提供しています。これにより、洗練されたストリーミングアプリケーションを、簡単に構築し実行することができます。これら完全マネージド型の Apache Flink アプリケーションでは、Amazon VPC で実行しているか、完全マネージドで可用性が高くセキュアな Apache Kafka サービスの 1 つである Amazon MSK 上にある、Apache Kafka に保存されたストリーミングデータを処理できます。
Apache Flink は分散型のフレームワークであり、データストリームを処理するためのエンジンです。Amazon Kinesis Data Analytics では、Apache Flink を活用している開発者が、ストリーミング方式のアプリケーションを構築して、リアルタイムでデータを変換および分析できます。
Apache Kafka は、リアルタイムのストリーミングデータパイプラインおよびアプリケーションを構築するためのオープンソースプラットフォームです。Amazon MSK では、Apache Kafka API を使用し、データレイクへの入力、データベースとの間での変更のストリーミング、機械学習および分析アプリケーションの強化を行うことができます。
最初のアプリケーションの構築は、AWS マネジメントコンソールを開き、Amazon MSK クラスターにストリーミングアプリケーションをアタッチすることで、簡単に開始できます。Amazon MSK と統合する Apache Flink アプリケーションの構築方法については、Amazon Kinesis Data Analytics 開発者ガイドをご参照ください。
Amazon MSK および Amazon Kinesis Data Analytics が利用可能な全リージョンの一覧については、「AWS リージョン表」をご参照ください。今回の統合は、米国東部 (バージニア北部) 、と欧州 (アイルランド) のリージョンで利用可能です。その他の Amazon Kinesis Data Analytics が利用可能な全リージョンについても、近日公開する予定です。