投稿日: Oct 13, 2021
Amazon Kinesis Data Analytics for Apache Flink の Apache Flink バージョン 1.13 を使用して、ストリーミングアプリケーションを構築し、実行できるようになりました。Apache Flink v1.13 では、Table/SQL API の強化、Table API と DataStream API の相互運用性の向上、Python Datastream API を用いたステートフルな操作、アプリケーションのパフォーマンスを分析する機能、JDBC シンクの正確なオンリーワン化などが提供されています。今回のリリースでは、アプリケーションのデータソースとして Amazon Managed Streaming for Apache Kafka(Amazon MSK) を使用している場合に、AWS IAM 認証で動作する Apache Kafka コネクタも提供されます。
Kinesis Data Analyticsは、JDK 11、Scala 2.12、Python 3.8を使用して構築されたApache Flinkアプリケーション、およびApache Beam v2.32のJavaアプリケーションをサポートしています。Amazon Kinesis Data Analytics Studio では、Apache Zeppelin ノートブックを採用したインタラクティブな開発環境を使用して、データストリームをインタラクティブに照会し、ストリーム処理アプリケーションを迅速に開発することができます。Kinesis Data Analytics Studio は、Apache Flink 1.13 および Apache Zeppelin 0.9 をサポートしています。
Amazon Kinesis Data Analytics は、Apache Flink でストリーミングデータをリアルタイムで変換および分析できる最も簡単な方法です。Apache Flink はオープンソースのフレームワークであり、データストリームを処理するためのエンジンです。Kinesis Data Analytics は、Apache Flink アプリケーションの構築と管理の複雑さを軽減します。Amazon Kinesis Data Analytics for Apache Flink は、組み込みコネクタを使用して、Amazon Managed Streaming for Apache Kafka (Amazon MSK)、Amazon Kinesis Data Streams、Amazon DynamoDB Streams、Amazon Simple Storage Service (Amazon S3)、カスタム統合などと統合します。
Kinesis Data Analytics for Apache Flink の詳細については弊社ドキュメントを、Flink 1.13 の提供内容については公式サイトをご覧ください。
Amazon Kinesis Data Analytics のリージョンの可用性については、AWS リージョン表をご参照ください。