Amazon EMR serverless introduce il supporto ad Apache Spark 4.0.1 (anteprima)
Amazon EMR serverless ora supporta Apache Spark 4.0.1 (anteprima). Con Spark 4.0.1 puoi semplificare la creazione e la gestione delle pipeline di dati grazie al supporto per SQL ANSI e per i tipi di dati VARIANT, rafforzare i framework di conformità e governance con il formato di tabella Apache Iceberg v3 e implementare più rapidamente nuove applicazioni in tempo reale grazie a funzionalità di streaming migliorate. In questo modo i team possono ridurre il debito tecnico e iterare più velocemente, garantendo al contempo precisione e coerenza dei dati.
Inoltre, Spark 4.0.1 consente di utilizzare SQL ANSI standard per creare pipeline accessibili a un numero maggiore di utenti che non conoscono linguaggi di programmazione come Python o Scala. Spark 4.0.1 supporta nativamente JSON e dati semi-strutturati tramite i tipi di dati VARIANT, offrendo flessibilità nella gestione di formati di dati eterogenei. Conformità e governance possono essere rafforzate grazie al formato di tabella Apache Iceberg v3, che fornisce garanzie di transazione e tiene traccia delle modifiche ai dati nel tempo, creando gli audit trail necessari per soddisfare i requisiti normativi. I controlli di streaming avanzati permettono di implementare più rapidamente applicazioni in tempo reale, gestendo operazioni stateful complesse e monitorando i processi di streaming con maggiore semplicità. Questa funzionalità consente di supportare casi d'uso come il rilevamento delle frodi e la personalizzazione in tempo reale.
Apache Spark 4.0.1 è disponibile in anteprima in tutte le regioni in cui è supportato EMR serverless, ad eccezione delle regioni Cina e AWS GovCloud (Stati Uniti). Per ulteriori informazioni su Apache Spark 4.0.1 su Amazon EMR, consulta le note di rilascio di Amazon EMR serverless o inizia creando un'applicazione EMR con Spark 4.0.1 dalla console di gestione AWS.