Amazon EMR führt Long Term Support mit Apache Spark 4.1 ein
Amazon EMR führt Long Term Support (LTS)-Versionen ein, die mit emr-spark-8.1.0 und Apache Spark 4.1 beginnen. Mit LTS erhalten bestimmte Versionen der AWS-Laufzeit für Apache Spark 36 Monate lang Support. Amazon EMR bietet LTS-Versionen mit Korrekturen für kritische und schwerwiegende Sicherheits-, Bug- und Datenkorruptionsprobleme, je nach Verfügbarkeit. LTS unterstützt Sie dabei, Spark-Produktionsworkloads mit einer Version länger auszuführen und das Upgrade nach Ihrem eigenen Zeitplan ohne zusätzliche Kosten durchzuführen.
Diese Version bietet volle Unterstützung für Apache Iceberg v3 und bietet neue georäumliche, hochpräzise Zeitstempel- und Schemaentwicklungsfunktionen für Ihre Tabellen. Spark-SQL-Abfragen können Kataloge namentlich referenzieren, einschließlich kontoübergreifender Kataloge und Amazon S3 Tables-Kataloge, und erkennen automatisch die Tabellenformate Apache Iceberg, Delta Lake und Apache Hudi, ohne jeden Katalog in Ihrer Spark-Konfiguration registrieren zu müssen. Die fein abgestufte Zugriffskontrolle deckt jetzt mehr Apache Iceberg-Operationen und den Delta Lake VACUUM-Vorgang ab, sodass Sie Berechtigungen auf Spalten- und Zeilenebene auf eine größere Anzahl von Jobs anwenden können. Amazon EMR auf EKS-Clustern unterstützt jetzt Spark Connect-Endpunkte mit tokenbasierter Authentifizierung.
emr-spark-8.1.0 ist in allen AWS-Regionen verfügbar, in denen Amazon EMR verfügbar ist, und zwar in Amazon EMR auf EC2, Amazon EMR auf EKS und Amazon EMR Serverless.
Weitere Informationen finden Sie in den Versionshinweisen zu emr-spark-8.1.0 und in den standardmäßigen Support-Richtlinien von Amazon EMR . Erstellen Sie zunächst in der AWS-Managementkonsole einen EMR-Cluster oder eine EMR-Applikation mit emr-spark-8.1.0 oder verwenden Sie den Apache Spark Upgrade Agent for Amazon EMR, um bestehende Anwendungen in die Version zu verschieben.