Amazon Kinesis Data Analytics の特徴

Amazon Kinesis Data Analytics には、Apache Flink、Apache Beam、Apache Zeppelin、AWS SDK、AWS のサービス統合などのオープンソースライブラリが含まれています。 Apache Flink は、高可用性で正確なストリーミングアプリケーションを構築するためのオープンソースのフレームワークおよびエンジンです。Apache Beam は、複数の実行エンジンで実行するストリーミングおよびバッチデータ処理アプリケーションを定義するためのオープンソースの統合モデルです。AWS ソフトウェア開発キット (SDK) は、好みの言語でアプリケーションプログラムインターフェイス (API) を提供することで多くの AWS のサービスでのコーディングの複雑さを解消します。また、AWS ライブラリ、コードサンプル、ドキュメントなどを含んでいます。

Kinesis Data Analytics は、ステートフルなイベント処理、ストリーミング ETL、リアルタイム分析など、さまざまなユースケースに特化した Java、Scala、Python、SQL の柔軟な API を提供します。事前に構築された演算子と分析機能を使用すると、数か月ではなく数時間で Apache Flink ストリーミングアプリケーションを構築できます。Kinesis Data Analytics ライブラリは拡張可能なため、さまざまなユースケースでリアルタイム処理を実行できます。

最小限のコードで、データソースまたは転送先を設定および統合できます。Amazon Kinesis Data Analytics のライブラリを使用して、Amazon Simple Storage Service (S3)、Amazon Managed Streaming for Apache Kafka (Amazon MSK)、Amazon OpenSearch Service、Amazon DynamoDB、Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose、Amazon CloudWatch、および AWS Glue Schema Registry と統合することができます。

AWS 統合に加えて、Kinesis Data Analytics ライブラリには 10 以上の Apache Flink コネクタと、カスタム統合の構築機能が含まれています。ほんの数行のコードを追加することで、高度な機能によってそれぞれの統合の動作を変更できます。また、インターネット経由でアクセスするファイル、ディレクトリ、ソケット、その他のソースとの間での読み書きを可能にする一連の Apache Flink のプリミティブを使用して、カスタム統合を構築することもできます。

Apache Flink 向け Kinesis Data Analytics は、AWS Glue Schema Registry と互換性があります。このサーバーレス AWS Glue 機能を使用すると、登録済みの Apache Avro スキーマを使用しながら、ストリーミングデータの発展過程を検証および制御できます。追加料金はかかりません。スキーマレジストリは、Apache Kafka に接続する Apache Flink ワークロード向け Kinesis Data Analytics、Amazon Managed Streaming for Apache Kafka (MSK)、または Amazon Kinesis Data Streams のスキーマをソースまたはシンクとして管理するのに役立ちます。データストリーミングアプリケーションがスキーマレジストリと統合している場合、スキーマの進化を管理する互換性チェックを利用して、データ品質を向上し、予期しない変更から保護することができます。

Kinesis Data Analytics の Apache Flink を使用すると、処理されたレコードが正確に 1 回だけ結果に影響を与え、正確に 1 回の処理と呼ばれるアプリケーションを構築することができます。内部のサービスメンテナンスやユーザーが開始したアプリケーションの更新のようなアプリケーションの中断の場合でも、サービスはすべてのデータが処理され、重複するデータが存在しないことを保証できます。

このサービスは、実行中のアプリケーションストレージに、以前のまたは実行中の計算や状態を保存します。リアルタイムおよび過去の結果を任意の期間にわたって比較し、アプリケーション中断時に迅速なリカバリを実現します。状態は常に暗号化され、実行中のアプリケーションストレージに増分として保存されます。

簡単な API コールを使用して、耐久性のあるアプリケーションのバックアップを作成および削除できます。中断後すぐに最新のバックアップからアプリケーションを復元したり、以前のバージョンにアプリケーションを復元することもできます。 

Kinesis Data Analytics Studio は、組み込みの可視化機能を備え、1 秒未満のクエリをサポートしています。アドホックなクエリを実行して、データ ストリームをすばやく検査し、数秒で結果を表示することができます。

Studio ノートブックは、コードの開発、デバッグ、およびストリーム処理アプリケーションの実行のための単一インターフェイスによる開発エクスペリエンス体験を提供します。

Kinesis Data Analytics Studio は、同じ開発環境で SQL、Python、Scala をサポートします。構文の強調表示、検証、および状況依存の提案により、固有の Apache Flink 機能の組み込みサポートを利用して、ノートブック内でデータを操作できます。

サーバーをプロビジョン、管理、スケールする必要はありません。ただコードを書き、アプリケーションが消費するリソースに料金を支払います。ノートブック内のコードを、自動スケーリングと永続的な状態で継続的に実行されるストリーム処理アプリケーションに簡単にデプロイできます。

Kinesis Data Analytics Studio は、本番環境で使用される Apache Flink アプリケーション上で実行および生成されます。Apache Zeppelin ノートブックは、選択した言語でストリーミング アプリケーションを作成するための使い慣れた使いやすいエクスペリエンスを提供します。

AWS Glue データカタログは、テーブル定義を含む中央リポジトリとして機能する永続的なメタデータ ストアです。AWS の複数のデータセットで素早く検出および検索を行うには、AWS Glue データカタログを使用します。Kinesis Data Analytics Studio は、ソーステーブルと宛先テーブルのスキーマを定義できる AWS Glue データカタログと互換性があります。

新しいプロジェクトでは、SQL アプリケーション用の Kinesis Data Analytics ではなく、新しい Kinesis Data Analytics Studio を使用することをお勧めします。Kinesis Data Analytics Studio は使いやすさと高度な分析機能を組み合わせており、洗練されたストリーム処理アプリケーションでも数分で構築できます。

Kinesis Data Analytics では標準 ANSI SQL がサポートされているため、SQL に精通していれば、他には何も必要ありません。

Kinesis Data Analytics は Amazon Kinesis Data Streams と Amazon Kinesis Data Firehose と統合されているため、ストリーミングデータを簡単に取り込むことができます。入力ストリームで Kinesis Data Analytics をポイントするだけで、データが自動的に読み込まれて解析され、処理の準備が整います。Kinesis Data Firehose を通して、Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon OpenSearch Service といった他の AWS のサービスに処理結果を送ることができます。また、Amazon Kinesis Data Streams に出力データを送信して、高度なストリーム処理パイプラインを構築することも可能です。

コンソールベースのエディタを利用することで、ストリーミングデータを使用して、スライディング時間枠平均のように SQL クエリを構築できます。また、ライブデータを使用してストリーミングの結果やエラーを表示することで、デバッグしたり、インタラクティブにスクリプトを改良したりすることが可能です。

Kinesis Data Analytics が提供する使いやすいスキーマエディタを利用することにより、入力データの構造を把握して編集できます。ウィザードが、JSON や CSV などの標準データ形式を自動的に認識します。入力データの構造を推測してベースラインスキーマを作成します。このスキーマは、スキーマエディタを使用してさらに詳細化できます。

インタラクティブな SQL エディタには、集計、イベントごとの変換、フィルタリングなど、最も一般的な操作のベースライン SQL コードを提供する SQL テンプレートのコレクションが付属しています。そのため、分析タスクに適切なテンプレートを選択して、SQL エディタを使用して提供されているコードを編集し、特定のユースケースに合わせてカスタマイズするだけで済みます。

Kinesis Data Analytics にはストリーム処理向けに最適化された機能が備わっているため、ストリーミングデータの異常検出や top-K 分析といった高度な分析を簡単に実施できます。