Amazon Managed Service for Apache Flink の開始方法
Managed Service for Apache Flink を使用すべき理由
Amazon Managed Service for Apache Flink では、Apache Flink を使用してストリーミングデータをリアルタイムで変換および分析できます。Amazon Managed Service for Apache Flink は、Apache Flink ワークロードの構築と管理を簡素化し、アプリケーションを他の AWS のサービスと統合することができます。
Apache Flink と Apache Beam でストリーミングアプリケーションを構築する
ステップ 1: オープンソースライブラリをお気に入りの IDE にダウンロードする
まず、AWS SDK、Apache Flink、AWS のサービス向けコネクタを含むオープンソースライブラリをダウンロードすることから始めます。
ステップ 2: Apache Flink または Apache Beam を使ってサンプルアプリケーションを構築する
データストリームとストリーム演算子を利用し、Apache Flink アプリケーションコードを記述します。アプリケーションデータストリームは、アプリケーションコードを利用した処理の実行対象となるデータ構造です。データはソースからアプリケーションデータストリームに継続的に流れます。1 つまたは複数のストリーム演算子を使用して、アプリケーションデータストリームに対する処理を定義します。
ステップ 3: Amazon Managed Service for Apache Flink にコードをアップロードする
構築したら、Amazon Managed Service for Apache Flink にコードをアップロードします。このサービスでは、受信データの量やスループットに合わせて自動的にスケールするなど、リアルタイムアプリケーションを継続的に実行するために必要なことすべてを扱います。
Amazon Managed Service for Apache Flink Studio を直感的に使用する
ステップ 1: Amazon Managed Service for Apache Flink Studio アプリケーションを作成する
Amazon Managed Service for Apache Flink、Amazon MSK、または Amazon Kinesis Data Streams コンソールから開始します。他のデータソースに接続するには、カスタムコネクタを使います。
ステップ 2: サーバーレスノートブックに SQL、Python、Scala でコードを書き、Apache Flink アプリケーションを開発する
ノートブック内の個々の段落を実行したり、結果をコンテキストで表示したり、Apache Zeppelin に組み込まれた可視化機能を利用して、開発を加速できます。また、コードの中でユーザー定義関数を使用することもできます。
ステップ 3: Amazon Managed Service for Apache Flink ストリーミングアプリケーションとして構築してデプロイする
コードはわずか数ステップで継続的に実行される、ストリーム処理アプリケーションとしてデプロイします。デプロイされたアプリケーションは、Amazon Managed Service for Apache Flink アプリケーションとなり、耐久性のある状態を備え、自動スケーリングが行われます。また、コードをプロダクション化する前に、ソース、デスティネーション、ロギング、モニタリングのレベルを変更する機会もあります。