Amazon Kinesis Data Analytics は、ストリーミングデータをリアルタイムで分析できる最も簡単な方法です。テンプレートや組み込み演算子を使用すると、クエリや高度なリアルタイムストリームアプリケーションを素早く簡単に作成できます。Amazon Kinesis Data Analytics は、アプリケーションを実行するためのリソースを設定し、着信データの量を自動的に処理します。

サーバーレス

高い可用性とステートフルな処理のために、複雑なインフラストラクチャを設定および管理する必要はありません。Amazon Kinesis Data Analytics はサーバーレスで、アプリケーションの継続的な実行に必要なすべての処理を行います。これには、ストリーミングデータを継続的に処理するためのインフラストラクチャの自動プロビジョニングも含まれます。

自動的な伸縮性と従量課金制

Amazon Kinesis Data Analytics は、着信データストリームに含まれる任意の量のデータに対応するために、アプリケーションを伸縮自在にスケールします。ストリーミングアプリケーションの実行に使用されるリソースに対してのみ料金が発生します。 インフラストラクチャのプロビジョニングやアイドル状態の容量に関する支払いを気にする必要はありません。

ミリ秒単位の処理速度

ミリ秒単位でストリーミングデータを処理する Amazon Kinesis Data Analytics を利用することにより、アラート、ダッシュボード、および実用的なインサイトをリアルタイムで生成できます。

オープンソース

Amazon Kinesis Data Analytics には、Apache FlinkApache BeamApache ZeppelinAWS SDK、AWS のサービス統合などのオープンソースライブラリが含まれています。Apache Flink は、高可用性で正確なストリーミングアプリケーションを構築するためのオープンソースのフレームワークおよびエンジンです。Apache Beam は、複数の実行エンジンで実行できるストリーミングおよびバッチデータ処理アプリケーションを定義するためのオープンソースの統合モデルです。AWS SDK は、好みの言語で API を提供することで多くの AWS のサービスでのコーディングの複雑さを解消します。また、AWS ライブラリ、コードサンプル、ドキュメントなどを含んでいます。

柔軟な API

ステートフルなイベント処理、ストリーミング ETL、リアルタイム分析など、さまざまなユースケースに特化した柔軟な API が Java、Scala、Python、SQL で提供されます。事前に構築された演算子と分析機能を使用すると、数か月ではなく数時間で Apache Flink ストリーミングアプリケーションを構築できます。Amazon Kinesis Data Analytics ライブラリは拡張可能なため、さまざまなユースケースでリアルタイム処理を実行できます。

AWS のサービスとの統合

最小限のコードで、データソースまたは転送先を設定および統合できます。Amazon Kinesis Data Analytics のライブラリを使用して、Amazon S3Amazon Managed Streaming for Apache Kafka (Amazon MSK)、Amazon Elasticsearch ServiceAmazon DynamoDBAmazon Kinesis Data StreamsAmazon Kinesis Data FirehoseAmazon CloudWatch、および AWS Glue Schema Registry と統合することができます。

アドバンスト統合機能

AWS 統合に加えて、Amazon Kinesis Data Analytics ライブラリには Apache Flink からの 10 以上のコネクタと、カスタム統合の構築機能が含まれています。ほんの数行のコードを追加することで、高度な機能によってそれぞれの統合の動作を変更できます。また、インターネット経由でアクセスできるファイル、ディレクトリ、ソケット、その他のソースとの間での読み書きを可能にする一連の Apache Flink のプリミティブを使用して、カスタム統合を構築することもできます。

AWS Glue スキーマレジストリとの互換性

Apache Flink 向け Amazon Kinesis Data Analytics は、AWS Glue のサーバーレス機能である AWS Glue スキーマレジストリと互換性があります。これは、登録済みの Apache Avro スキーマを使用してストリーミングデータの進化を検証および制御するもので、追加料金はかかりません。スキーマレジストリは、Apache Kafka に接続するための Apache Flink ワークロード向け Amazon Kinesis Data Analytics、Amazon Managed Streaming for Apache Kafka (MSK)、または Amazon Kinesis Data Streams のスキーマをソースまたはシンクとして管理するのに役立ちます。データストリーミングアプリケーションがスキーマレジストリと統合している場合、スキーマの進化を管理する互換性チェックを利用して、データ品質を向上し、予期しない変更から保護することができます。

正確に 1 回の処理

Amazon Kinesis Data Analytics の Apache Flink を使用すると、処理されたレコードが正確に 1 回だけ結果に影響を与え、正確に 1 回の処理と呼ばれるアプリケーションを構築することができます。つまり、内部のサービスメンテナンスやユーザーが開始したアプリケーションの更新のようなアプリケーションの中断の場合でも、サービスはすべてのデータが処理され、重複するデータが存在しないことを保証できます。

ステートフル処理

このサービスは、実行中のアプリケーションストレージに、以前のまたは実行中の計算や状態を保存します。これにより、リアルタイムおよび過去の結果を任意の期間にわたって比較することができ、アプリケーション中断時に迅速なリカバリが可能になります。状態は常に暗号化され、実行中のアプリケーションストレージに増分として保存されます。

耐久性のあるアプリケーションのバックアップ

簡単な API コールを使用して、耐久性のあるアプリケーションのバックアップを作成および削除できます。中断後すぐに最新のバックアップからアプリケーションを復元することも、以前のバージョンにアプリケーションを復元することもできます。

Amazon Kinesis Data Analytics Studio

ストリームの検査と可視化

Kinesis Data Analytics Studio は、組み込みの可視化機能を備え、1 秒未満のクエリをサポートしています。アドホックなクエリを実行して、データ ストリームをすばやく検査し、数秒で結果を表示することができます。

シンプルなビルドと実行の環境

Studio ノートブックは、コードの開発、デバッグ、およびストリーム処理アプリケーションの実行のための単一インターフェイスによる開発エクスペリエンス体験を提供します。

SQL、Python、Scala を使用した処理

Kinesis Data Analytics Studio は、同じ開発環境で SQL、Python、Scala をサポートします。構文の強調表示、検証、および状況依存の提案により、Apache Flink 固有の機能の組み込みサポートを利用して、ノートブック内でデータを操作できます。

サーバーレスの、ストリーム処理アプリケーションの迅速な開発

プロビジョニング、管理、スケーリングするサーバーはなく、コードを書くだけであり、アプリケーションが消費するリソースについて料金を支払うだけです。ノートブック内のコードを、自動スケーリングと永続的な状態で継続的に実行されるストリーム処理アプリケーションに簡単にデプロイできます。

オープンソース

Kinesis Data Analytics Studio は、本番環境で使用される Apache Flink アプリケーション上で実行および生成されます。Apache Zeppelin ノートブックは、選択した言語でストリーミング アプリケーションを作成するための使い慣れた使いやすいエクスペリエンスを提供します。

AWS Glue データカタログの使用開始 (6:24)

AWS Glue データカタログは、テーブル定義を含む中央リポジトリとして機能する永続的なメタデータ ストアです。AWS の複数のデータセットで素早く検出および検索を行うには、AWS Glue データカタログを使用します。Amazon Kinesis Data Analytics Studio は、ソーステーブルと宛先テーブルのスキーマを定義できる AWS Glue データカタログと互換性があります。

Kinesis Data Analytics SQL アプリケーション

新しいプロジェクトでは、SQL アプリケーション用の Kinesis Data Analytics ではなく、新しい Kinesis Data Analytics Studio を使用することをお勧めします。Kinesis Data Analytics Studio は使いやすさと高度な分析機能を組み合わせており、洗練されたストリーム処理アプリケーションでも数分で構築できます。

標準 SQL のサポート

Amazon Kinesis Data Analytics では標準 ANSI SQL がサポートされているため、SQL に精通していれば、他には何も必要ありません。

統合された入力および出力

Amazon Kinesis Data Analytics は Amazon Kinesis Data StreamsAmazon Kinesis Data Firehose と統合されているため、ストリーミングデータを簡単に取り込むことができます。入力ストリームで Amazon Kinesis Data Analytics をポイントするだけで、データが自動的に読み込まれて解析され、処理の準備が整います。Amazon Kinesis Data Firehose を通して、Amazon S3Amazon RedshiftAmazon Elasticsearch Service といった他の AWS のサービスに処理結果を送ることができます。また、Amazon Kinesis Data Streams に出力データを送信して、高度なストリーム処理パイプラインを構築することも可能です。

コンソールベースの SQL エディタ

コンソールベースのエディタを利用することで、ストリーミングデータを使用して、スライディング時間枠平均のように SQL クエリを構築できます。また、ライブデータを使用してストリーミングの結果やエラーを表示することで、デバッグしたり、インタラクティブにスクリプトを改良したりすることが可能です。

簡単に使用できるスキーマエディタ

Amazon Kinesis Data Analytics が提供する使いやすいスキーマエディタを利用することにより、入力データの構造を把握して編集できます。ウィザードが、JSON や CSV などの標準データ形式を自動的に認識します。入力データの構造を推測してベースラインスキーマを作成します。このスキーマは、スキーマエディタを使用してさらに詳細化できます。

事前構築 SQL テンプレート

インタラクティブな SQL エディタには、集計、イベントごとの変換、フィルタリングなど、最も一般的な操作のベースライン SQL コードを提供する SQL テンプレートのコレクションが付属しています。そのため、分析タスクに適切なテンプレートを選択して、SQL エディタを使用して提供されているコードを編集し、特定のユースケースに合わせてカスタマイズするだけで済みます。

高度なストリーム処理機能

Amazon Kinesis Data Analytics にはストリーム処理向けに最適化された機能が備わっているため、ストリーミングデータの異常検出や top-K 分析といった高度な分析を簡単に実施できます。

Amazon Kinesis Data Analytics の使用を開始する

Kinesis Data Analytics の料金ページをご覧ください。
コストを計算

Amazon Kinesis Data Analytics の料金ページをご覧ください。

入門ガイドを見る
入門ガイドを見る

SQL および Apache Flink のステップバイステップガイドで Amazon Kinesis Data Analytics の使用方法を学習できます。

コンソールで構築を開始する
ストリーミングアプリケーションの構築を開始する

Amazon Kinesis Data Analytics コンソールを使用してストリーミングアプリケーションを構築します。