Amazon EMR Serverless unterstützt jetzt Apache Spark 4.0.1 (Vorschau)
Amazon EMR Serverless unterstützt jetzt Apache Spark 4.0.1 (Vorschau). Mit Spark 4.0.1 können Sie Daten-Pipelines mit ANSI SQL- und VARIANT-Datentypen einfacher erstellen und verwalten, die Compliance- und Governance-Frameworks mit dem Apache-Iceberg-v3-Tabellenformat stärken und neue Echtzeitanwendungen dank verbesserter Streaming-Funktionen schneller bereitstellen. Auf diese Weise können Ihre Teams technische Schulden reduzieren und schneller iterieren, während gleichzeitig Genauigkeit und Konsistenz der Daten gewährleistet werden.
Mit Spark 4.0.1 können Sie Daten-Pipelines mit Standard-ANSI-SQL erstellen, um sie einer größeren Gruppe von Benutzern zugänglich zu machen, die keine Programmiersprachen wie Python oder Scala kennen. Spark 4.0.1 unterstützt JSON- und halbstrukturierte Daten nativ über VARIANT-Datentypen und bietet so Flexibilität für die Verarbeitung verschiedener Datenformate. Mit dem Apache-Iceberg-v3-Tabellenformat können Sie Compliance und Governance stärken. Es bietet Transaktionsgarantien und verfolgt, wie sich Ihre Daten im Laufe der Zeit ändern, um die erforderlichen Audit Trails für behördliche Anforderungen zu erstellen. Dank verbesserter Streaming-Kontrollen können Sie Echtzeitanwendungen schneller bereitstellen, indem Sie komplexe zustandsbehaftete Abläufe verwalten und Streaming-Jobs einfacher überwachen. Mit dieser Funktion können Sie Anwendungsfälle wie Betrugserkennung und Personalisierung in Echtzeit unterstützen.
Apache Spark 4.0.1 ist in allen Regionen, in denen EMR Serverless verfügbar ist, als Vorschauversion verfügbar, mit Ausnahme von China und AWS GovCloud (USA). Weitere Informationen zu Apache Spark 4.0.1 auf Amazon EMR finden Sie in den Versionshinweisen zu Amazon EMR Serverless, oder erstellen Sie eine EMR-Anwendung mit Spark 4.0.1 in der AWS-Managementkonsole.