投稿日: Sep 15, 2023
本日、Amazon EMR on EKS では、Apache Flink (パブリックプレビュー版で利用可能) をサポートするようになったことをお知らせします。このリリースにより、既に EMR を使用している場合は、Apache Flink アプリケーションを同じ Amazon EKS クラスターで他の種類のアプリケーションと一緒に実行できるようになり、リソース利用率の向上とインフラストラクチャ管理の簡素化に役立ちます。既に Amazon EKS でビッグデータフレームワークを実行している場合は、Amazon EMR にプロビジョニングと管理を自動化させることができるようになりました。
Apache Flink は、高スループットのデータソースでリアルタイムのストリーム処理を実行するために使用するオープンソースのフレームワークです。本日のリリース以前は、自己管理型の Apache Flink アプリケーションを EKS で実行できましたが、Apache Flink を手動でインストールして設定する必要があり、そのために詳細な知識が必要でした。本日のリリースによって、Flink Kubernetes オペレーターをインストールするだけで、オペレーターを使用して EKS クラスターに直接ジョブを送信できるようになりました。また、EMR on EKS で Apache Flink アプリケーションのライフサイクルを管理できます。これにより、アプリケーション間でリソースを共有し、単一の Kubernetes ツールセットを使用してインフラストラクチャを一元的にモニタリングおよび管理できます。さらに、このリリースにより、Amazon S3 の jar ファイルを使用した Flink アプリケーションの起動、Amazon S3、Amazon CloudWatch、コンテナのログローテーションの統合のモニタリングといった、主要なアクセシビリティおよびモニタリング機能も利用できるようになります。
2023 年 10 月 5 日 – この記事の以前のバージョンでは、Amazon EMR on EKS での Apache Flink をフルマネージドサービスとして誤って言及していました。今回この点を修正しました。