投稿日: Oct 31, 2022
Amazon EMR リリース 6.8 で Apache Flink 1.15.1 がサポートされるようになりました。この機能は EC2 の EMR で利用できます。
Apache Flink はオープンソースのフレームワークで、データストリームを処理するためのエンジンです。EMR 6.8 の Apache Flink 1.15.1 には、62 のバグ修正、脆弱性の修正、Flink 1.15.0 からの細かな改善が含まれています。キー機能は次のとおりです。
- データソースのウォーターマークアラインメント (ベータ) : Flink のイベント時間による処理は、データソースまたはウォーターマークジェネレーターによってストリームに挿入される、ウォーターマークと呼ばれる特別なタイムスタンプ付き要素に従って処理されます。タイムスタンプ t の付いたウォーターマークは、t に満たない値のタイムスタンプが付いたすべてのイベントがすでに届いているというアサーションとして理解できます。ウォーターマークアラインメントは、イベントの速度が異なるソースを処理する場合に便利です。たとえば、1 つのソースがアイドル状態の場合、または 1 つのソースが他のソースよりも比較的速くレコードを発行する場合、各ソースのウォーターマークアラインメントを個別に有効にできます。Flink は、速度の一番速いソースを一時停止し、ウォーターマークが揃うまで他のソースからレコードを読み取り続けることによって、ウォーターマークのアラインメントを行います。
- SQL バージョンのアップグレード : SQL での構造化データのインポートとエクスポートを容易にする JSON 関数である JSON プランが導入されます。現在は、バージョンのアップグレードによって SQL クエリのトポロジーが変更され、バージョン間でスナップショットの非互換性が生じる可能性があります。Flink のバージョンのアップグレードが困難な理由はここにありました。しかしこの機能により、異なるバージョン間で SQL クエリの同じトポロジーを保証するプランをコンパイルおよび実行する方法を、テーブル API と SQL の両方が提供するため、今後のバージョンへのアップグレードの信頼性は高まります。これを試してみたいユーザーは、古い演算子の構造に基づいて Flink ジョブを復元するために使用できる JSON プランを作成できます。
詳細については、OSS Flink リリースドキュメントを参照してください。
Amazon EMR リリース 6.8 は、Amazon EMR が提供されているすべてのリージョンで一般利用が可能です。詳細については、Amazon EMR のリージョンごとの利用可否とリリースノートを参照してください。