Veröffentlicht am: Oct 31, 2022
Wir freuen uns, ankündigen zu können, dass Amazon EMR Version 6.8 Apache Flink 1.15.1 unmfasst. Diese Funktion ist auf EMR auf EC2 verfügbar.
Apache Flink ist ein Open-Source-Framework und eine entsprechende Engine zum Verarbeiten von Daten-Streams. Apache Flink 1.15.1 auf EMR 6.8 enthält 62 Fehlerbehebungen, Schwachstellenbehebungen und kleinere Verbesserungen gegenüber Flink 1.15.0. Wichtigste Funktionen:
- Wasserzeichenabgleich (Beta) über Datenquellen hinweg: Die Ereignis-Zeit-Verarbeitung in Flink hängt von speziellen, mit Zeitstempeln versehenen Elementen ab, die als Wasserzeichen bezeichnet werden und entweder von den Datenquellen oder von einem Wasserzeichen-Generator in den Datenstrom eingefügt werden. Ein Wasserzeichen mit einem Zeitstempel t kann als Behauptung verstanden werden, dass alle Ereignisse mit Zeitstempeln < t bereits eingetroffen sind. Der Wasserzeichenabgleich ist nützlich, wenn Quellen mit unterschiedlicher Ereignisgeschwindigkeit verarbeitet werden; wenn z. B. eine Quelle im Leerlauf ist oder eine Quelle relativ schnell Datensätze sendet, können Sie den Wasserzeichenabgleich für jede Quelle separat aktivieren. Flink gleicht die Wasserzeichen ab, indem es die Quelle mit der höchsten Geschwindigkeit anhält und weiterhin Datensätze aus anderen Quellen liest, bis die Wasserzeichen abgeglichen sind.
- Upgrade der SQL-Version: Einführung von JSON-Plänen, d.h. JSON-Funktionen, die den Import und Export strukturierter Daten in SQL erleichtern. Heutzutage können Versions-Upgrades die Topologie von SQL-Abfragen verändern, was zu Snapshot-Inkompatibilität zwischen verschiedenen Versionen führen kann. Dies macht die Aktualisierung der Flink-Version zu einer Herausforderung. Mit dieser Funktion bieten sowohl die Tabellen-API als auch SQL eine Möglichkeit, einen Plan zu kompilieren und auszuführen, der die gleiche Topologie für SQL-Abfragen in verschiedenen Versionen sicherstellt, was ein Upgrade auf zukünftige Versionen zuverlässiger macht. Benutzer, die dies ausprobieren möchten, können einen JSON-Plan erstellen, der dann zur Wiederherstellung eines Flink-Jobs auf der Grundlage der alten Operatorstruktur verwendet werden kann.
Weitere Details finden Sie in den Flink-Veröffentlichungsdokumenten.
Amazon EMR Version 6.8 ist allgemein in allen Regionen verfügbar, in denen Amazon EMR verfügbar ist. Weitere Informationen finden Sie unter Regionale Verfügbarkeit von Amazon EMR und in unseren Versionshinweisen.