Amazon Managed Service for Apache Flink の開始方法
Managed Service for Apache Flink を使用すべき理由
Apache Flink と Apache Beam でストリーミングアプリケーションを構築する
1
ステップ 1: オープンソースライブラリをお気に入りの IDE にダウンロードする
まず、AWS SDK、Apache Flink、AWS のサービス向けコネクタを含むオープンソースライブラリをダウンロードすることから始めます。
2
ステップ 2: Apache Flink または Apache Beam を使ってサンプルアプリケーションを構築する
データストリームとストリーム演算子を利用し、Apache Flink アプリケーションコードを記述します。アプリケーションデータストリームは、アプリケーションコードを利用した処理の実行対象となるデータ構造です。データはソースからアプリケーションデータストリームに継続的に流れます。1 つまたは複数のストリーム演算子を使用して、アプリケーションデータストリームに対する処理を定義します。
3
ステップ 3: Amazon Managed Service for Apache Flink にコードをアップロードする
構築したら、Amazon Managed Service for Apache Flink にコードをアップロードします。このサービスでは、受信データの量やスループットに合わせて自動的にスケールするなど、リアルタイムアプリケーションを継続的に実行するために必要なことすべてを扱います。
Amazon Managed Service for Apache Flink Studio を直感的に使用する
1
ステップ 1: Amazon Managed Service for Apache Flink Studio アプリケーションを作成する
Amazon Managed Service for Apache Flink、Amazon MSK、または Amazon Kinesis Data Streams コンソールから開始します。他のデータソースに接続するには、カスタムコネクタを使います。
2
ステップ 2: サーバーレスノートブックに SQL、Python、Scala でコードを書き、Apache Flink アプリケーションを開発する
ノートブック内の個々の段落を実行したり、結果をコンテキストで表示したり、Apache Zeppelin に組み込まれた可視化機能を利用して、開発を加速できます。また、コードの中でユーザー定義関数を使用することもできます。
3
ステップ 3: Amazon Managed Service for Apache Flink ストリーミングアプリケーションとして構築してデプロイする
コードはわずか数ステップで継続的に実行される、ストリーム処理アプリケーションとしてデプロイします。デプロイされたアプリケーションは、Amazon Managed Service for Apache Flink アプリケーションとなり、耐久性のある状態を備え、自動スケーリングが行われます。また、コードをプロダクション化する前に、ソース、デスティネーション、ロギング、モニタリングのレベルを変更する機会もあります。
e ラーニング
このワークショップでは、ストリーミングデータをほぼリアルタイムで取り込み、分析し、可視化するためのエンドツーエンドのストリーミングアーキテクチャを構築します。タクシーフリートのテレメトリデータをほぼリアルタイムで分析して、ニューヨーク市のタクシー会社のフリートオペレーションを最適化します。
あらかじめ構築されたソリューションを使用して、すぐに使用開始できます。Amazon Managed Service for Apache Flink 向け AWS ストリーミングデータソリューションでは、大量のアプリケーションログのキャプチャ、クリックストリームデータの分析、データレイクへの継続的な配信など、リアルタイムストリーミングのユースケースを解決できます。
このワークショップでは、ストリーム処理アプリケーションを作成して、カジノに入場し、大きな賭けをしているお客様を特定します。大口の消費者がギャンブルテーブルに座ると、アプリケーションが E メールを送信します。また、チップの補充が必要なテーブルを特定したり、賭けや勝ちパターンを通じてカジノでチーターになりそうな人を特定したりすることもできます。
この 5 部構成の学習シリーズでは、Amazon Managed Service for Apache Flink Studio を利用して、リアルタイムのゲームリーダーボード用の最新のデータストリーミングアーキテクチャを構築します。このアーキテクチャには、データインジェスト、データベース変更データキャプチャ (CDC) によるリアルタイムエンリッチメント、データ処理、および結果の計算、保存、視覚化が含まれます。