Amazon EMR sans serveur prend désormais en charge Apache Spark 4.0.1 (version préliminaire)
Amazon EMR sans serveur prend désormais en charge Apache Spark 4.0.1 (version préliminaire). Avec Spark 4.0.1, vous pouvez créer et gérer des pipelines de données plus facilement avec les types de données ANSI SQL et VARIANT, renforcer les cadres de conformité et de gouvernance avec le format de table Apache Iceberg v3 et déployer de nouvelles applications en temps réel plus rapidement grâce à des fonctionnalités de streaming améliorées. Cela permet à vos équipes de réduire la dette technique et d'itérer plus rapidement, tout en garantissant l'exactitude et la cohérence des données.
Avec Spark 4.0.1, vous pouvez créer des pipelines de données avec la norme ANSI SQL, ce qui les rend accessibles à un plus grand nombre d'utilisateurs qui ne connaissent pas les langages de programmation tels que Python ou Scala. Spark 4.0.1 prend en charge nativement les données JSON et semi-structurées via les types de données VARIANT, offrant ainsi la flexibilité nécessaire pour gérer divers formats de données. Vous pouvez renforcer la conformité et la gouvernance grâce au format de tableau Apache Iceberg v3, qui fournit des garanties de transaction et suit l'évolution de vos données au fil du temps, créant ainsi les pistes d'audit dont vous avez besoin pour répondre aux exigences réglementaires. Vous pouvez déployer des applications en temps réel plus rapidement grâce à des contrôles de streaming améliorés qui vous permettent de gérer des opérations complexes avec état et de surveiller plus facilement les tâches de streaming. Grâce à cette fonctionnalité, vous pouvez prendre en charge des cas d'utilisation tels que la détection des fraudes et la personnalisation en temps réel.
Apache Spark 4.0.1 est disponible en version préliminaire dans toutes les régions où EMR sans serveur est disponible, à l'exception des régions Chine et AWS GovCloud (US). Pour en savoir plus sur Apache Spark 4.0.1 sur Amazon EMR, consultez les notes de version d'Amazon EMR sans serveur ou commencez par créer une application EMR avec Spark 4.0.1 depuis la console de gestion AWS.