发布于: Oct 31, 2022
我们很高兴地宣布，Amazon EMR 版本 6.8 现已包含 Apache Flink 1.15.1。EMR on EC2 中提供此功能。
Apache Flink 是一种处理数据流的开源框架和引擎。Apache Flink 1.15.1 on EMR 6.8 包含对 Flink 1.15.0 的 62 个错误修复、漏洞修复和次要改进。主要功能包括：
- 跨数据源的水印对齐（测试版）：Flink 中的事件时间处理取决于带时间戳的特殊元素，也就是由数据源或水印生成器插入流中的水印。可以将带有时间戳 t 的水印视为带有时间戳 < t 的所有事件已到达的断言。使用不同事件速度处理源（例如当一个源空闲，或者一个源以相对较快的速度发送记录）时水印对齐很有用，您可以分别为每个源启用水印对齐。Flink 通过暂停速度最大的源并继续从其他源读取记录直至水印对齐，以此来对齐水印。
- SQL 版本升级：引入作为 JSON 函数的 JSON 计划，可以更轻松地在 SQL 中导入和导出结构化数据。当前版本升级可以更改 SQL 查询的拓扑，这可能会产生不同版本之间的不兼容性，进而导致 Flink 版本升级具有挑战性。通过此功能，Table API 和 SQL 提供一种方法来编译和执行计划，确保不同版本之间的 SQL 查询使用相同的拓扑，使升级到未来版本更可靠。想要试试的用户可以创建一个 JSON 计划，然后将此计划用于根据旧的运算符结构恢复 Flink 作业。
有关详细信息，请参阅 OSS Flink 发行文档。
Amazon EMR 6.8 版已在提供 Amazon EMR 的所有区域全面推出。有关更多详细信息，请参阅 Amazon EMR 区域可用性和发行说明。