Amazon EMR supporta ora Apache Spark 4.0.2 in disponibilità generale
Amazon EMR supporta ora Apache Spark 4.0.2 in tutti e tre i modelli di distribuzione. Con Spark 4.0.2 puoi semplificare la creazione e la gestione delle pipeline di dati grazie al supporto per SQL ANSI e per i tipi di dati VARIANT, applicare un controllo degli accessi granulare (FGAC) a livello di riga o di colonna, rafforzare i framework di conformità e governance con il formato di tabella Apache Iceberg v3 e implementare più rapidamente nuove applicazioni in tempo reale grazie a funzionalità di streaming migliorate.
Con Spark 4.0.2, puoi creare pipeline di dati rendendo il data engineering accessibile a una gamma più ampia di utenti attraverso il supporto per lo standard ANSI SQL, eliminando la necessità di apprendere la sintassi specifica di Spark. Spark 4.0.2 supporta nativamente JSON e dati semi-strutturati tramite i tipi di dati VARIANT, offrendo flessibilità nella gestione di formati di dati eterogenei. È possibile applicare il controllo degli accessi a granularità fine (FGAC) sia sulle operazioni di lettura che di scrittura per le tabelle registrate in AWS Lake Formation all'interno dei processi Apache Spark. Basandosi su queste funzionalità di sicurezza, il formato di tabella Apache Iceberg v3 offre garanzie di transazione più solide e traccia la derivazione dei dati, creando gli audit trail richiesti per la conformità normativa. I controlli di streaming avanzati semplificano la gestione di operazioni stateful complesse e migliorano il monitoraggio, consentendo di distribuire più rapidamente applicazioni in tempo reale per il rilevamento delle frodi, la personalizzazione e altri casi d'uso sensibili al fattore tempo.
Apache Spark 4.0.2 è disponibile in tutte le regioni in cui è disponibile EMR. Se stai eseguendo l'aggiornamento della tua applicazione EMR esistente, puoi utilizzare l'agente di aggiornamento Apache Spark per accelerare il processo. Per ulteriori informazioni su Apache Spark 4.0.2 su Amazon EMR, consulta le note di rilascio di Amazon EMR o inizia creando un'applicazione EMR con Spark 4.0.2 dalla console di gestione AWS.