Amazon Kinesis Data Analytics for SQL から Amazon Managed Service for Apache Flink および Amazon Managed Service for Apache Flink Studio への移行

本記事は AWS Principal Product Manager の Julian Payne による投稿の日本語訳です。原文はこちらよりご確認いただけます。

Amazon Kinesis Data Analytics for SQL は、ストリーミングソースに対して独自の SQL コードを実行し、時系列分析の実行、リアルタイムダッシュボードへのデータ供給、リアルタイムメトリクスの作成を支援するデータストリーム処理エンジンです。AWS は、 2026 年 1 月 27 日をもって Kinesis Data Analytics for SQL の提供を終了することを決定しました。この記事では、Kinesis Data Analytics for SQL サポート終了の背景、代替となる AWS サービス、および SQL クエリとワークロードの移行方法について解説します。

Kinesis Data Analytics for SQL の概要

以下の図は、Kinesis Data Analytics for SQL の使用ワークフローを示しています。

2021 年より、Kinesis Data Analytics for SQL は、AWS 公式サイト、AWS Management Console、およびデベロッパーガイドにおいてレガシー製品であることが示されていました。この間、新機能の追加や新しい AWS リージョンへの展開は行われていませんでした。しかし、サービスの既存機能のメンテナンスやパッチ適用、お客様のサポートはアクティブに行われてきました。これらは今後も継続的に行われます。

Kinesis Data Analytics for SQL からの移行計画を支援するため、提供の終了は段階的に行います。

• 2025 年 10 月 15 日以降、新規の Kinesis Data Analytics for SQL アプリケーションは作成できなくなります。既存のアプリケーションは通常通り実行可能です。
• 2026 年 1 月 27 日に、残存する全てのアプリケーションが削除されます。この日以降、Kinesis Data Analytics for SQL アプリケーションの起動や操作はできなくなり、サポートも行われなくなります。

Managed Service for Apache Flink および Apache Flink Studio の概要

2016 年に提供が開始された Kinesis Data Analytics for SQL は、Amazon Managed Service for Apache Flink や Amazon Managed Service for Apache Flink Studio など、現在ではポピュラーな AWS データストリーム処理サービス以前に登場したものです。私たちは、お客様が Kinesis Data Analytics for SQL ではなく、こうした新しいサービスの利用を検討するようになったことに気づきました。

Amazon Managed Service for Apache Flink は、低レイテンシー・高可用性・高度なスケーラビリティを有するサーバーレスなリアルタイムストリーム処理サービスです。Apache Flink は、データストリーム処理に向いているオープンソースの分散エンジンです。マネージドな Flink ベースのサービスは、Kinesis Data Analytics for SQL では利用できない機能を提供し、エンドツーエンドのストリーミングパイプラインの構築、データの正確性と即時性の維持に役立ちます。例えば、Amazon Managed Service for Apache Flink は、ビルトインのスケーリング機能、exactly-once のセマンティクス、SQL を含む複数の開発言語サポート、40 以上のソース・シンクコネクタ、アプリケーション状態の永続化などをサポートしています。

私たちは、お客様がマネージド Flink サービスが提供する高度な機能を活用するために、Kinesis Data Analytics for SQL のワークロードを移行しているのを目にしています。SQL クエリを実行しているお客様は、Amazon Managed Service for Apache Flink Studio を選択しています。Amazon Managed Service for Apache Flink Studio は、ノートブック (Web ベースの開発環境) を提供します。ノートブックを使用することで、Flink が提供する高度な機能による、シンプルかつインタラクティブな開発体験が得られます。Amazon Managed Service for Apache Flink Studio は、ノートブックとして Apache Zeppelin を使用し、ストリーム処理エンジンとして Flink を使用します。Amazon Managed Service for Apache Flink Studio ノートブックは、これらのテクノロジーをシームレスに組み合わせ、あらゆるスキルレベルの開発者がデータストリームに対する高度な分析を行えるようにします。ノートブックは素早くプロビジョニングされるため、ストリーミングデータの表示・分析をすぐに行うことができます。Zeppelin は、Amazon Managed Service for Apache Flink Studio ノートブックに以下の機能を含む完全な分析ツールスイートを提供します。

• データの可視化
• データのファイルへのエクスポート
• 簡単な分析のための出力フォーマットの制御
• ノートブックをスケーラブルな本番アプリケーションに変換

以下の図は、Managed Service for Apache Flink の一般的なワークフローを示しています。

Kinesis Data Analytics for SQL とは異なり、Managed Service for Apache Flink は以下の SQL 機能を追加でサポートしています。

• 複数の Amazon Kinesis Data Streams 間、または Kinesis のデータストリーム と Amazon Managed Streaming for Apache Kafka (Amazon MSK) トピック間でのストリームデータを結合する
• データストリーム内のデータを、処理・変換し、リアルタイムに可視化する
• 同一アプリケーション内で、 Python スクリプトまたは Scala プログラムを使用する
• ストリーミングレイヤーのオフセットを変更する

Amazon Managed Service for Apache Flink のもう一つの利点は、デプロイ後のソリューションのスケーラビリティが向上することです。Managed Service for Apache Flink では、負荷に応じてインフラストラクチャのリソースが動的にスケールします。Kinesis Data Analytics for SQL アプリケーションをスケールさせるためには、ポンプを追加し、アプリケーションにリソース追加を促す必要がありました。

Managed Service for Apache Flink への移行

Kinesis Data Analytics for SQL から Amazon Managed Service for Apache Flink Studio への移行に関する詳細については、Amazon Kinesis Data Analytics for SQL アプリケーションから Amazon Managed Service for Apache Flink Studio への移行をご覧ください。さらに、Kinesis Data Analytics for SQL の 17 の一般的なクエリを Amazon Managed Service for Apache Flink Studio で再現する方法のサンプルコードを含むガイダンスを、公式ドキュメントとして提供しています。ドキュメントは今後も拡充していく予定です。Amazon Data Firehose をソースとして使用しているお客様や、Amazon Managed Service for Apache Flink でユーザー定義関数を使用したいお客様向けに、ステップバイステップの移行ガイダンスも作成しました。また、Kinesis Data Analytics for SQL から Amazon Managed Service for Apache Flink への機械学習ワークロードの移行を支援するドキュメントも提供しています。

まとめ

この記事では、Kinesis Data Analytics for SQL の提供終了の計画とその背景について解説しました。Kinesis Data Analytics for SQL のワークロードを Amazon Managed Service for Apache Flink および Apache Flink Studio に移行することを推奨します。移行を開始するためのリソースを提供しています。さらなるサポートが必要な場合は、re:Post で質問することができます。その際、質問には Kinesis Data Analytics for SQL のタグの付与をお願いいたします。

著者について

Julian Payne は、AWS のプリンシパルプロダクトマネージャーです。クラウド上でリアルタイムデータ処理アプリケーションを使用して顧客がイノベーションを起こせるよう、製品や機能の構築に情熱を注いでいます。プライベートでは、グラフィックノベルの執筆とイラスト制作を行っています。