Inserito il: Apr 9, 2020
Siamo molto lieti di annunciare Amazon EMR 6.0.0 con supporto di nuove importanti versioni di Hadoop, Hive, HBase, Amazon Linux 2, oltre al supporto di pacchetti per dipendenze di ambienti Spark per Docker.
Gli utenti Spark usano ora le immagini Docker dall'Hub Docker e da Amazon Elastic Container Registry (Amazon ECR) con EMR 6.0.0 per definire le dipendenze di ambienti e librerie. Con Docker, puoi gestire facilmente i pacchetti Python e le dipendenze R per singole attività, eliminando la necessità di installare le dipendenze sugli host dei singoli cluster. Per maggiori informazioni sull'uso di Docker con EMR 6.0.0, consulta la nostra guida alla gestione di EMR alla sezione su come configurare Docker e il nostro post sul blog su come semplificare la gestione delle dipendenze Spark con Docker.
Gli utenti Hive possono ora utilizzare Hive Live Long and Process (LLAP) con EMR 6.0.0, che fornisce prestazioni due volte più veloci rispetto a EMR 5.29 con miglioramenti fino a 10 volte superiori sulle singole query TPC-DS di Hive. Hive LLAP è un nuovo modello di esecuzione di Hive che usa daemon persistenti con cache in memoria dinamiche per velocizzare l'esecuzione delle query. Per maggiori informazioni su come abilitare Hive LLAP, consulta la nostra documentazione su Come usare Hive LLAP e il nostro post sul blog per scoprire perché Apache Hive è 2 volte più veloce con Hive LLAP su EMR 6.0.0.
EMR 6.0.0 fornisce nuove importanti versioni di Apache Hadoop 3.2.1, Apache Hive 3.1.2, Apache HBase 2.2.3, Apache Phoenix 5.0.0 e il runtime di EMR per Apache Spark 2.4.4 con supporto a Scala 2.12. EMR 6.0.0 è creato su Amazon Linux 2 e Amazon Corretto JDK 8. Amazon Linux 2 è l'ultima generazione del sistema operativo del server Amazon Linux, che offre nuovi strumenti di sistema come il systemd init e il kernel LTS Amazon Linux ottimizzato per le prestazioni. Amazon Corretto JDK 8 fornisce un JDK compatibile certificato Java SE che include supporto a lungo termine, miglioramenti delle prestazioni e correzioni di problemi di sicurezza. Per maggiori informazioni su tutte le applicazioni di EMR aggiornate con EMR 6.0.0, consulta le nostre note di rilascio.
Amazon EMR 6.0.0 è ora disponibile in tutte le regioni supportate per Amazon EMR.
Puoi essere sempre informato sulle nuove versioni di EMR iscrivendoti ai feed delle note di rilascio della versione EMR. Usa l'icona in cima alla guida EMR Release Guide per collegare l'URL dei feed direttamente al tuo lettore di feed preferito.
*Basato sul benchmark TPC-DS da 3 TB tramite la comparazione della versione EMR 5.29.0 con quella EMR 6.0.0.