Amazon EMR introduce il supporto a lungo termine con Apache Spark 4.1
Amazon EMR rende disponibili le versioni con supporto a lungo termine (LTS) a partire da emr-spark-8.1.0 e Apache Spark 4.1. Con LTS, le versioni designate del runtime AWS per Apache Spark beneficiano di 36 mesi di supporto. In base alla disponibilità, Amazon EMR fornisce versioni LTS con correzioni per problemi di sicurezza critici e di gravità elevata, bug e corruzione dei dati. LTS aiuta a eseguire più a lungo i carichi di lavoro di produzione Spark sulla stessa versione e di pianificare gli aggiornamenti secondo le tempistiche desiderate, senza costi aggiuntivi.
La nuova versione offre il supporto completo per Apache Iceberg v3, che estende le tabelle con nuove funzionalità geospaziali, timestamp ad alta precisione e funzionalità di evoluzione dello schema. Le query Spark SQL possono richiamare i cataloghi per nome, compresi quelli tra account diversi e quelli di Amazon S3 Tables, e rilevano automaticamente i formati di tabella Apache Iceberg, Delta Lake e Apache Hudi, senza che sia necessario registrare ogni catalogo nella configurazione Spark. Ora il controllo granulare degli accessi si estende a un numero maggiore di operazioni Apache Iceberg e all'operazione VACUUM di Delta Lake: in questo modo è possibile applicare autorizzazioni a livello di colonna e di riga a una gamma più ampia di processi. I cluster Amazon EMR su EKS ora supportano gli endpoint Spark Connect con autenticazione basata su token.
emr-spark-8.1.0 è disponibile in tutte le regioni AWS in cui è supportato Amazon EMR, in Amazon EMR su EC2, Amazon EMR su EKS e Amazon EMR serverless.
Per ulteriori informazioni, consulta le note di rilascio di emr-spark-8.1.0 e la policy di supporto standard di Amazon EMR. Per iniziare, crea un cluster o un'applicazione EMR con emr-spark-8.1.0 dalla Console di gestione AWS oppure usa l'Agente di aggiornamento Apache Spark per Amazon EMR per migrare le applicazioni esistenti alla nuova versione.