Amazon Kinesis Data Analytics から名称が変更された Amazon Managed Service for Apache Flink の発表

8月30日、Amazon Kinesis Data Analytics の名称が Amazon Managed Service for Apache Flink に変更されたことをお知らせします。これは、Apache Flink を使ってリアルタイムのストリーミングアプリケーションを構築および実行するためのフルマネージドのサーバーレスサービスです。

進行中の運用、開発、またはビジネスユースケースに影響を与えることなく、同じエクスペリエンスが Flink アプリケーションで引き続き提供されます。Kinesis Data Analytics で実行中の既存のアプリケーションはすべてそのまま動作します。変更を加える必要はありません。

活気のあるオープンソースコミュニティによる多様なユースケースのサポートを始めとして、多くのお客様がデータ処理に Apache Flink を使用しています。Apache Flink アプリケーションは堅牢で広く使用されていますが、並列コンピューティングリソースまたはコンテナリソースのスケーリングと調整が必要なため、管理が難しい場合があります。データ量、データ型、データソースが飛躍的に増加する中、お客様は、パフォーマンスやコストを犠牲にすることなく、データのアクセス、処理、保護、分析をより簡単に行う方法を必要としています。

Amazon Managed Service for Apache Flink を使用すると、最小限のコードでデータソースまたは宛先を設定して統合すること、Amazon Kinesis Data Streams や Amazon Managed Streaming for Apache Kafka (Amazon MSK) などの多くのデータソースからのデータを 1 秒未満のレイテンシーで継続的に処理すること、およびイベントにリアルタイムで対応することができます。Apache Zeppelin による組み込みの視覚化機能を備えた Amazon Managed Service for Apache Flink では、数回のクリック操作だけでノートブックを使ってストリーミングデータをインタラクティブに分析することもできます。

Amazon Managed Service for Apache Flink では、規格に準拠したセキュアな高可用性アプリケーションをデプロイできます。サーバーやクラスターを管理する必要や、コンピューティングとストレージのインフラストラクチャをセットアップする必要はありません。請求はアプリケーションが消費するリソースに対してのみ発生します。

Apache Flink のサポートの歴史
独自の SQL エンジンをベースにとする Amazon Kinesis Data Analytics の 2016 年のローンチ以降、効率的なステートフルストリーム処理に必要な機能をお客様に提供するには SQL だけでは不十分であることがわかり、リアルタイムのデータストリーム処理で広く使われているオープンソースフレームワークおよびエンジンである Apache Flink への投資が開始されました。

2018 年には、Apache Flink ライブラリを使用してストリーミングアプリケーションを構築し、独自の統合開発環境 (IDE) でアプリケーションを構築するお客様向けのプログラム可能なオプションとして Amazon Kinesis Data Analytics for Java のサポートが提供されました。2020 年、Apache Flink への継続的なサポートを強調するために Amazon Kinesis Data Analytics for Java が Amazon Kinesis Data Analytics for Apache Flink に変更されました。2021 年、Apache Zeppelin による迅速な開発向けのシンプルで使い慣れたノートブックインターフェイスを備え、処理エンジンとして Apache Flink を使用する Kinesis Data Analytics Studio (現在の Amazon Managed Service for Apache Flink Studio) がリリースされました。

2019 年以降、Apache Flink コミュニティとの連携が強化され、Kinesis Data Streams や Kinesis Data Firehose など、Apache Flink 用 AWS コネクタの領域におけるコード貢献を拡大するとともに、毎年開催される Flink Forward イベントを後援してきました。最近では、Flink 1.15 リリースに Async Sink を提供した結果、その他の更新と共に、クラウドの相互運用性が向上し、多くのシンクコネクタとフォーマットが追加されました。

コネクタ以外にも、AWS は、Flink コミュニティとの協力を継続し、可用性の向上とデプロイオプションに貢献しています。詳細については、AWS オープンソースブログの「Making it Easier to Build Connectors with Apache Flink: Introducing the Async Sink」を参照してください。

Amazon Managed Service for Apache Flink の新機能
先に説明したように、既存の Flink アプリケーションを Kinesis Data Analytics (現在の Amazon Managed Apache Flink) で引き続き実行できます。変更を加える必要はありません。コンソールの変更と新機能に加えて、ワンクリックでエンドツーエンドのデータパイプラインを作成するブループリントという新機能についてお伝えします。

最初に注目すべき点は、Amazon Managed Service for Apache Flink の新しいコンソールを AWS の分析セクションから直接使用できることです。開始する際は、新しいコンソールでストリーミングアプリケーションまたはStudio ノートブックを簡単に作成できます。操作方法は以前と同じです。

新しいコンソールでストリーミングアプリケーションを作成するには、[一から作成] または [ブループリントを使う] を選択します。新しく追加されたブループリントオプションでは、AWS CloudFormation を使用して 1 つのステップで使用を開始するために必要なすべてのリソースを作成および設定できます。

ブループリントは、厳選された Apache Flink アプリケーションのコレクションです。最初のアプリケーションには、Kinesis Data Stream から読み取られ、Amazon Simple Storage Service (Amazon S3) バケットに書き込まれるデモデータがあります。

デモアプリケーションを作成したら、Apache Flink ダッシュボードを設定、実行、開いて Flink アプリケーションの状態をモニタリングできます。操作は以前と同じです。GitHub リポジトリのコードサンプルを変更して、独自のローカル開発環境で Flink ライブラリを使用してさまざまなオペレーションを実行できます。

ブループリントは拡張可能で、Amazon Managed Service for Apache Flink をベースにビジネス上の課題を解決するための複雑なアプリケーションを作成するために活用できます。Apache Flink ライブラリの使用方法の詳細については、AWS ドキュメントを参照してください。

ブループリントは、新しいセットアップオプションとして Apache Zeppelin を使用して Studio ノートブックを作成するために使用することもできます。この新しく追加されたブループリントオプションでは、AWS CloudFormation を使用して 1 つのステップで使用を開始するために必要なすべてのリソースを作成および設定することもできます。

このブループリントには、Amazon MSK トピックに送信され、Managed Service for Apache Flink で読み取られるでもデータを含む Apache Flink アプリケーションが含まれています。Apache Zeppelin ノートブックでは、ストリーミングデータを表示、クエリ、分析できます。ブループリントのデプロイと Studio ノートブックのセットアップには約 10 分かかります。セットアップが完了するまでコーヒーでも飲んでお待ちください。

新しい Studio ノートブックを作成したら、Apache Zeppelin ノートブックを開いて、ノート内の SQL クエリを実行できます。操作は以前と同じです。Apache Flink ライブラリの使用方法の詳細については、GitHub リポジトリのコードサンプルを参照してください。

このデモデータでは、ユーザー定義関数、タンブリングウィンドウとホッピングウィンドウ、Top-N クエリ、ストリーミング向けの S3 バケットへのデータ配信など、多くの SQL クエリを実行できます。

また、Studio ノートブックの使用方法とAmazon MSK トピックのクエリに関するブログ記事で説明されているように、Java、Python、または Scala を使用して SQL クエリを強化し、継続的に実行するアプリケーションとしてノートをデプロイすることもできます。

ブループリントのサンプルの詳細については、MSK Serverless からの読み取りと Amazon S3 への書き込み、MSK Serverless からの読み取りと MSK Serverless への書き込み、MSK Serverless からの読み取りと Amazon S3 への書き込みなどの GitHub リポジトリを参照してください。

今すぐご利用いただけます
Amazon Kinesis Data Analytics から名称が変更された Amazon Managed Service for Apache Flink を使用できるようになりました。Kinesis Data Analytics で実行中の既存のアプリケーションはすべてそのまま動作します。変更を加える必要はありません。

詳細については、新製品のページとデベロッパーガイドを参照してください。フィードバックは、Amazon Managed Service for Apache Flink の AWS re:Post または通常の AWS サポートチャネルから送ることができます。

— Channy

原文はこちらです。