Apache Flink と Apache Beam でストリーミングアプリケーションを構築可能
ステップ 1: オープンソースライブラリをお気に入りの IDE にダウンロードする
まず、AWS SDK、Apache Flink、AWS のサービス向けコネクタを含むオープンソースライブラリをダウンロードすることから始めます。
ステップ 2: Apache Flink または Apache Beam を使ってサンプルアプリケーションを構築する
データストリームとストリーム演算子を利用し、Apache Flink アプリケーションコードを記述します。アプリケーションデータストリームは、アプリケーションコードを利用した処理の実行対象となるデータ構造です。データはソースからアプリケーションデータストリームに継続的に流れます。1 つまたは複数のストリーム演算子を使用して、アプリケーションデータストリームに対する処理を定義します。
ステップ 3: Kinesis Data Analytics にコードをアップロードする
構築が完了すると、Amazon Kinesis Data Analytics では、リアルタイムアプリケーションを継続的に実行するために必要なすべてが提供され、受信データのボリュームとスループットに応じて自動的にスケールされます。
Amazon Kinesis Data Analytics Studio は簡単に使用開始できる
ステップ 1: Amazon Kinesis Data Analytics Studio アプリケーションを作成する
Amazon Kinesis Data Analytics、Amazon MSK、Amazon Kinesis Data Streams コンソールのいずれかから開始できます。またカスタムコネクタを使って、他のデータソースに接続することもできます。
ステップ 2: サーバーレスノートブックに SQL、Python、Scala でコードを書き、Apache Flink アプリケーションを迅速に開発する
ノート内の個々の段落を実行したり、結果をコンテキストで表示したり、Apache Zeppelin に組み込まれた可視化機能を利用して、開発を加速することができます。また、コードの中でユーザー定義関数を使用することもできます。
ステップ 3: Kinesis Data Analytics のストリーミングアプリケーションとして、構築・デプロイする
コードはわずか数クリックで連続的に動作する、ストリーム処理アプリケーションとしてデプロイできます。デプロイされたアプリケーションは、Apache Flink アプリケーション用 Amazon Kinesis Data Analytics となり、耐久性のある状態を備え、オートスケーリングが行われます。また、コードをプロダクション化する前に、ソース、デスティネーション、ロギング、モニタリングのレベルを変更する機会も得られます。
Amazon Kinesis Data Analytics SQL の使用を開始する
まず初めに、Amazon Kinesis Data Analytics アプリケーションを作成します。入力として提供されているデモストリームを選択して、テンプレートを選んで SQL クエリを編集します。そうすれば、コンソールで結果を表示できます。または出力を Amazon Elasticsearch Service にロードして、Kibana を使用して可視化できます。数分で、完全なストリーミングデータアプリケーションをデプロイできます。
ステップ 1: 入力ストリームを設定する
まず、Amazon Kinesis Data Analytics コンソールに移動して、入力として Kinesis データストリームまたは Kinesis Data Firehose 配信ストリームを選択します。Amazon Kinesis Data Analytics にデータが取り込まれ、データの標準形式が自動的に認識されて、スキーマが提案されます。このスキーマはさらに改善できます。または、入力データが構造化されていない場合は、直感的なスキーマエディタを使用して新しいスキーマを定義できます。
ステップ 2: SQL クエリを記述する
次に、Amazon Kinesis Data Analytics SQL エディタと組み込みテンプレートを使用してストリーミングデータを処理するための SQL クエリを記述し、それをライブストリーミングデータでテストします。
ステップ 3: 出力ストリームを設定する
最後に、処理した結果をどこにロードするかをポイントします。Amazon Kinesis Data Analytics はアウトオブボックスの状態で Amazon Kinesis Data Streams や Amazon Kinesis Data Firehose と統合できるため、処理した結果を簡単に Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、またはユーザーが独自に設定した送信先に送ることができます。
e ラーニング
Amazon Kinesis Data Analytics 上で Apache Flink アプリケーションを構築するためのセルフペーストレーニング
このワークショップでは、ストリーミングデータをほぼリアルタイムで取り込み、分析し、可視化するためのエンドツーエンドのストリーミングアーキテクチャを構築します。お客様は、ニューヨーク市のタクシー会社のオペレーションを改善することに着手します。ニューヨーク市のタクシーフリートのテレメトリデータをほぼリアルタイムで分析し、タクシー会社のフリートオペレーションを最適化するのです。
Amazon Kinesis 向け AWS ストリーミングデータソリューション
事前に構築されたソリューションを使用してすぐに開始します。Amazon Kinesis の AWS ストリーミングデータソリューションを使用して、大量のアプリケーションログのキャプチャ、クリックストリームデータの分析、データレイクへの継続的な配信など、リアルタイムストリーミングのユースケースを解決します。
Apache Flink を使用した Amazon Kinesis Data Analytics 入門
15 分のトレーニングビデオでは、Amazon Kinesis Data Analytics で Apache Flink アプリケーションを使用してデータからよりタイムリーな正しい情報を得る方法について説明しています。
