Inserito il: Sep 6, 2019
EMR 6.0.0 (Beta) consente agli utenti di definire le dipendenze di applicazioni e librerie utilizzando le immagini Docker da Docker Hub e Amazon Elastic Container Registry (ECR) tramite l’utilizzo di Spark 2.4.3 e Hadoop 3.1.0.
A partire da oggi, gli utenti PySpark e SparkR dovranno installare le proprie dipendenze su ciascun host di un cluster. Di conseguenza, i team che operano su cluster multi-tenant si trovano dinanzi alla difficoltà di stare al passo con specifiche versioni delle librerie. Questo comporta la gestione delle dipendenze nonché la riduzione di produttività degli sviluppatori giacché aumenta il tempo dedicato alla preparazione di un cluster per il suo utilizzo e l’aumento della complessità degli aggiornamenti dei cluster.
Utilizzando Hadoop 3, Docker ed EMR, gli utenti Spark non dovranno più installare dipendenze di librerie su singoli host dei cluster e le dipendenze delle applicazioni possono ora essere definite nell'ambito delle singole applicazioni Spark. Ciò si ottiene eseguendo le applicazioni Spark nei container Docker anziché direttamente sugli host dei cluster EMR. Per utilizzare Docker con l'applicazione Spark, è sufficiente fare riferimento al nome dell'immagine Docker quando si inoltrano lavori a un cluster EMR. YARN, in esecuzione su un cluster EMR, recupererà automaticamente l'immagine da Docker Hub o ECR e ne eseguirà l'applicazione. È possibile utilizzare le immagini Docker per impacchettare le proprie dipendenze delle librerie e persino eseguire container con versioni diverse di R e Python nell’ambito dello stesso cluster.
Nella versione EMR 6.0.0 (Beta) è incluso anche il supporto per Amazon Linux 2 e Amazon Corretto JDK 8. Amazon Linux 2 è l'ultima generazione del sistema operativo del server Amazon Linux, che offre nuovi strumenti di sistema come il systemd init e il kernel LTS Amazon Linux ottimizzato per le prestazioni. Amazon Corretto JDK 8 fornisce un JDK compatibile certificato Java SE che include supporto a lungo termine, miglioramenti delle prestazioni e correzioni di problemi di sicurezza.
La versione 6.0.0 di EMR (Beta) è disponibile nelle regioni Stati Uniti orientali (Virginia settentrionale) e Stati Uniti occidentali (Oregon). Per iniziare, consulta la sezione Esecuzione di applicazioni Spark con Docker utilizzando Amazon EMR 6.0.0 (Beta). Per fornire feedback o porre domande su questa versione, utilizza il nostro forum Amazon EMR.
Puoi essere sempre informato sulle nuove versioni di EMR iscrivendoti ai feed delle note di rilascio della versione EMR. Usa l’icona in cima alla guida EMR Release Guide per collegare l’URL dei feed direttamente al tuo lettore di feed preferito.