Amazon Kinesis Data Analytics を開始する最良の方法は、サンプルアプリケーションを構築して、実際に体験してみることです。Amazon Kinesis Data Analytics コンソールに移動し、新しい Amazon Kinesis Data Analytics アプリケーションを作成するだけです。(i) IDEを使用した Apache Flink アプリケーション (Java、Scala、Python) または Apache Beam アプリケーション (Java)、(ii) Studio ノートブック・アプリケーション (インタラクティブな開発体験による Apache Flink SQL、Python、Scala)、(iii) コンソールエディタを使用した Kinesis Data Analytics SQL ベースのアプリケーション、のいずれを選択するかに応じて、以下の手順を使用します。

まず始めに、Kinesis Data Analytics アプリケーションを作成し、ストリーミングデータを継続的に読み込み、処理します。お気に入りの IDE を使って、オープンソースの Apache Flink ライブラリをダウンロードしてから、アプリケーションコードを書いて、ライブストリーミングデータでそれをテストします。Kinesis Data Analytics が結果を送信する宛先を、設定できます。

ライブラリのダウンロード方法と初回のアプリケーションを作成する方法は、Apache Flink 用 Amazon Kinesis Data Analytics デベロッパーガイドにあります。ガイドには、Apache Beam を使用するアプリケーションを実行するために必要なコンポーネントもあります。Apache Flink がサポートしている他の言語の同じコードは、Amazon Kinesis Data Analytics で使用している Apache Flink バージョンの公式の Apache Flink ドキュメントにあります。

ステップ 1: オープンソースライブラリをお気に入りの IDE にダウンロードする

Java アプリケーションを作成します

まず、AWS SDK、Apache Flink、AWS のサービス向けコネクタを含むオープンソースライブラリをダウンロードすることから始めます。 

Java サンプルコード

データストリームとストリーム演算子を利用し、Apache Flink アプリケーションコードを記述します。アプリケーションデータストリームは、アプリケーションコードを利用した処理の実行対象となるデータ構造です。データはソースからアプリケーションデータストリームに継続的に流れます。1 つまたは複数のストリーム演算子を使用して、アプリケーションデータストリームに対する処理を定義します。

ステップ 3: Kinesis Data Analytics にコードをアップロードする

Java アプリケーションを設定します

構築が完了すると、Amazon Kinesis Data Analytics では、リアルタイムアプリケーションを継続的に実行するために必要なすべてが提供され、受信データのボリュームとスループットに応じて自動的にスケールされます。

Java デベロッパーガイドの Apache Flink アプリケーション用 Amazon Kinesis Data Analytics の使用開始セクションに、最初のアプリケーションを構築するためのチュートリアルがあります。

事前に構築されたソリューションを使用してすぐに開始する

Amazon Kinesis の AWS ストリーミングデータソリューションを使用して、大量のアプリケーションログのキャプチャ、クリックストリームデータの分析、データレイクへの継続的な配信など、リアルタイムストリーミングのユースケースを解決します。

15 分のトレーニングビデオでは、Amazon Kinesis Data Analytics で Apache Flink アプリケーションを使用してデータからよりタイムリーな正しい情報を得る方法について説明しています。

Amazon Kinesis Data Analytics Studio は簡単に使用開始できる

まず初めに、Kinesis Data Analytics Studio アプリケーションを作成します。アプリケーションを起動し、Apache Zeppelin ノートブックを開いて、Apache Flink を搭載したストリーム処理エンジンを使って、SQL、Python、Scala でアプリケーションコードを書きます。ライブストリーミングデータを使って、アプリケーションをテストしたり、SQL クエリや内部の可視化機能を使ってストリーミングデータの見え方を調べたりすることができます。Kinesis Data Analytics が結果を送信する宛先を、設定できます。オプションとして、ノート内のコードを、耐久性のある状態とオートスケーリングを備えた長時間稼働の Apache Flink ストリーミングアプリケーションに発展させることができます。

Amazon Kinesis Data Analytics Studio デベロッパーガイドで、開始方法の説明を受けることができます。また、様々な SQL クエリを試すためのサンプルや、ストリーミングデータに対する Python や Scala のサンプルプログラムも用意されています。

ステップ 1: Amazon Kinesis Data Analytics Studio アプリケーションを作成する

Java アプリケーションを作成します

Amazon Kinesis Data Analytics、Amazon MSK、Amazon Kinesis Data Streams コンソールのいずれかから開始できます。またカスタムコネクタを使って、他のデータソースに接続することもできます。

Java サンプルコード

ノート内の個々の段落を実行したり、結果をコンテキストで表示したり、Apache Zeppelin に組み込まれた可視化機能を利用して、開発を加速することができます。また、コードの中でユーザー定義関数を使用することもできます。

ステップ 3: Kinesis Data Analytics のストリーミングアプリケーションとして、構築・デプロイする

Java アプリケーションを設定します

コードはわずか数クリックで連続的に動作する、ストリーム処理アプリケーションとしてデプロイできます。デプロイされたアプリケーションは、Apache Flink アプリケーション用 Amazon Kinesis Data Analytics となり、耐久性のある状態を備え、オートスケーリングが行われます。また、コードをプロダクション化する前に、ソース、デスティネーション、ロギング、モニタリングのレベルを変更する機会も得られます。

Amazon Kinesis Data Analytics SQL の使用を開始する

まず初めに、Amazon Kinesis Data Analytics アプリケーションを作成します。入力として提供されているデモストリームを選択して、テンプレートを選んで SQL クエリを編集します。そうすれば、コンソールで結果を表示できます。または出力を Amazon Elasticsearch Service にロードして、Kibana を使用して可視化できます。数分で、完全なストリーミングデータアプリケーションをデプロイできます。

ステップ 1: 入力ストリームを設定する

入力ストリームを設定する

まず、Amazon Kinesis Data Analytics コンソールに移動して、入力として Kinesis データストリームまたは Kinesis Data Firehose 配信ストリームを選択します。Amazon Kinesis Data Analytics にデータが取り込まれ、データの標準形式が自動的に認識されて、スキーマが提案されます。このスキーマはさらに改善できます。または、入力データが構造化されていない場合は、直感的なスキーマエディタを使用して新しいスキーマを定義できます。

ドキュメントを読む 

ステップ 2: SQL クエリを記述する

SQL クエリを記述する

次に、Amazon Kinesis Data Analytics SQL エディタと組み込みテンプレートを使用してストリーミングデータを処理するための SQL クエリを記述し、それをライブストリーミングデータでテストします。

ドキュメントを読む 

ステップ 3: 出力ストリームを設定する

出力ストリームを設定

最後に、処理した結果をどこにロードするかをポイントします。Amazon Kinesis Data Analytics はアウトオブボックスの状態で Amazon Kinesis Data Streams や Amazon Kinesis Data Firehose と統合できるため、処理した結果を簡単に Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、またはユーザーが独自に設定した送信先に送ることができます。

ドキュメントを読む 

入門ガイドの例

これらのリソースでは、ストリーミングデータのアプリケーション例とステップバイステップの手順が紹介されており、実際に試すことができます。

仕組み

SQL デベロッパーガイドでは、Amazon Kinesis Data Analytics アーキテクチャ、アプリケーションの作成、入力と出力の設定に関する概要を確認できます。

開始方法

入門ガイドでは、AWS アカウントとコマンドラインインターフェース (AWS CLI) の設定、Amazon Kinesis Data Analytics のスターターアプリケーションの作成手順について説明しています。

アプリケーション例

このアプリケーション例ガイドでは、Amazon Kinesis Data Analytics アプリケーションの作成や結果のテストに役立つコードサンプルとステップバイステップの手順を紹介しています。

ハウツー動画

Kinesis Data Analytics は簡単に使用を開始できます。ハウツー動画なら、さらに簡単に、一般的なユースケースとストリーム処理のワークフローについて技術的に深く理解できます。主要機能の概要についても詳しく扱っているため、実践に役立ちます。録画を視聴するには、以下のリンクに従います。

Amazon Kinesis Data Analytics 入門 (2:21)
リアルタイムダッシュボードの表示 (3:14)
リアルタイムアラームの作成 (2:59)
時系列分析の生成 (2:32)

Amazon Kinesis Data Analytics の使用を開始する

AWS アカウントにサインアップする
AWS アカウントにサインアップする

AWS 無料利用枠にすぐにアクセスできます。

入門ガイドを見る
入門ガイドを見る

SQL または Apache Flink のステップバイステップガイドで Amazon Kinesis Data Analytics の使用方法を学習できます。

コンソールで構築を開始する
ストリーミングアプリケーションの構築を開始する

Amazon Kinesis Data Analytics コンソールを使用してストリーミングアプリケーションを構築します。