Amazon EMR unterstützt jetzt Apache Spark 4.0.2 in der allgemeinen Verfügbarkeit
Amazon EMR unterstützt jetzt Apache Spark 4.0.2 in allen drei Bereitstellungsmodellen. Mit Spark 4.0.2 können Sie Daten-Pipelines mit ANSI SQL- und VARIANT-Datentypen einfacher erstellen und verwalten, eine differenzierte Zugriffskontrolle (FGAC) auf Zeilen- oder Spaltenebene durchsetzen, die Compliance- und Governance-Frameworks mit dem Apache-Iceberg-v3-Tabellenformat stärken und neue Echtzeitanwendungen dank verbesserter Streaming-Funktionen schneller bereitstellen.
Mit Spark 4.0.2 können Sie Datenpipelines erstellen und Data Engineering über die standardmäßige ANSI-SQL-Unterstützung einem breiteren Anwenderkreis zugänglich machen, sodass Sie die Spark-spezifische Syntax nicht erlernen müssen. Spark 4.0.2 unterstützt JSON- und halbstrukturierte Daten nativ über VARIANT-Datentypen und bietet so Flexibilität für die Verarbeitung verschiedener Datenformate. Sie können jetzt eine differenzierte Zugriffskontrolle (FGAC) für Lese- und Schreibvorgänge für in AWS Lake Formation registrierte Tabellen in Ihren Apache Spark-Jobs implementieren. Aufbauend auf diesen Sicherheitsfunktionen bietet das Tabellenformat Apache Iceberg v3 stärkere Transaktionsgarantien und verfolgt die Datenherkunft, wodurch die Audit Trails erstellt werden, die für die Einhaltung gesetzlicher Vorschriften erforderlich sind. Verbesserte Streaming-Kontrollen vereinfachen die Verwaltung komplexer zustandsbehafteter Abläufe und verbessern die Überwachung, sodass Sie Echtzeitanwendungen für Betrugserkennung, Personalisierung und andere zeitkritische Anwendungsfälle schneller bereitstellen können.
Apache Spark 4.0.2 ist in allen Regionen verfügbar, in denen EMR verfügbar ist. Wenn Sie Ihre bestehende EMR-Anwendung aktualisieren, können Sie den Apache Spark-Aktualisierungsagenten verwenden, um Ihre Upgrades zu beschleunigen. Weitere Informationen zu Apache Spark 4.0.2 auf Amazon EMR finden Sie in den Versionshinweisen zu Amazon EMR, oder erstellen Sie eine EMR-Anwendung mit Spark 4.0.2 in der AWS-Managementkonsole.