Amazon EMR prend désormais en charge Apache Spark 4.0.2 en disponibilité générale
Amazon EMR prend désormais en charge Apache Spark 4.0.2 sur les trois modèles de déploiement. Avec Spark 4.0.2, vous pouvez créer et gérer des pipelines de données plus facilement avec les types de données ANSI SQL et VARIANT, mettre en œuvre le contrôle d’accès précis (FGAC) au niveau de la ligne ou de la colonne, renforcer les cadres de conformité et de gouvernance avec le format de table Apache Iceberg v3 et déployer de nouvelles applications en temps réel plus rapidement grâce à des fonctionnalités de streaming améliorées.
Avec Spark 4.0.2, vous pouvez créer des pipelines de données, rendant ainsi l’ingénierie des données accessible à un plus large éventail d’utilisateurs grâce à la prise en charge standard de la norme ANSI SQL, éliminant ainsi le besoin d’apprendre la syntaxe spécifique à Spark. Spark 4.0.2 prend en charge nativement les données JSON et semi-structurées via les types de données VARIANT, offrant ainsi la flexibilité nécessaire pour gérer divers formats de données. Vous pouvez appliquer un contrôle d’accès précis (FGAC) aux opérations de lecture et d’écriture pour les tables enregistrées par AWS Lake Formation dans vos tâches Apache Spark. S’appuyant sur ces fonctionnalités de sécurité, le format de table Apache Iceberg v3 fournit des garanties de transaction plus solides et assure le suivi de la traçabilité des données, créant ainsi les pistes d’audit requises pour la conformité réglementaire. Les contrôles de streaming améliorés simplifient la gestion des opérations complexes et améliorent la surveillance, ce qui vous permet de déployer plus rapidement des applications en temps réel pour la détection des fraudes, la personnalisation et d’autres cas d’utilisation urgents.
Apache Spark 4.0.2 est disponible dans toutes les régions où EMR est disponible. Si vous mettez à niveau votre application EMR existante, vous pouvez utiliser l’agent de mise à niveau Apache Spark pour accélérer vos mises à niveau. Pour en savoir plus sur Apache Spark 4.0.2 sur Amazon EMR, consultez les notes de version d’Amazon EMR ou commencez par créer une application EMR avec Spark 4.0.2 depuis la console de gestion AWS.