Publié le: Apr 9, 2020
Nous avons le plaisir de vous annoncer la version Amazon EMR 6.0.0, avec prise en charge de nouvelles versions majeures de Hadoop, Hive, HBase, Amazon Linux 2 et de l’empaquetage des dépendances d’environnement Spark avec Docker.
Les utilisateurs de Spark peuvent désormais utiliser des images Docker depuis Docker Hub et Amazon Elastic Container Registry (Amazon ECR) avec la version EMR 6.0.0 pour définir les dépendances d’environnement et de bibliothèque. Docker vous permet d’empaqueter facilement vos dépendances Python et R pour des tâches données, ce qui vous évite d’installer des dépendances sur des hôtes de cluster individuels. Pour obtenir plus d’informations sur l’utilisation de Docker avec EMR 6.0.0, consultez notre section du Guide de gestion EMR sur la Configuration de Docker et notre billet de blog sur la simplification de la gestion des dépendances Spark avec Docker.
Les utilisateurs de Hive peuvent désormais utiliser Hive Live Long and Process (LLAP) avec EMR version 6.0.0, qui multiplie la vitesse par deux par rapport à EMR 5.29, avec des performances jusqu’à 10 fois améliorées pour des requêtes Hive TPC-DS* données. Hive LLAP est un nouveau modèle d’exécution dans Hive qui utilise des processus persistants avec mise en cache en mémoire dynamique pour accélérer l’exécution des requêtes. Pour obtenir des informations sur l’activation de Hive LLAP, consultez notre documentation sur l’utilisation de Hive LLAP et notre billet de blog pour découvrir pourquoi Apache Hive est 2 fois plus rapide avec Hive LLAP sur EMR 6.0.0.
EMR version 6.0.0 fournit de nouvelles versions majeurs d’Apache Hadoop 3.2.1, Apache Hive 3.1.2, Apache HBase 2.2.3, Apache Phoenix 5.0.0 et de l’environnement d’exécution EMR pour Apache Spark 2.4.4, avec prise en charge de Scala 2.12. EMR version 6.0.0 repose sur Amazon Linux 2 et Amazon Corretto JDK 8. Amazon Linux 2 est la nouvelle génération de systèmes d’exploitation de serveurs Amazon Linux. Elle fournit ainsi de nouveaux outils système, notamment le système systemd init et le noyau LTS haute performance d’Amazon Linux. Amazon Corretto JDK 8 propose un langage Java SE certifié compatible JDK incluant le support longue durée, l’optimisation des performances et les correctifs de sécurité. Pour obtenir plus d’informations sur l’ensemble des applications EMR mises à jour dans EMR version 6.0.0, consultez nos notes de mise à jour.
Amazon EMR 6.0.0 est désormais disponible dans toutes les régions prenant en charge Amazon EMR.
Vous pouvez rester à jour sur les versions EMR en vous abonnant au flux des notes de versions EMR. Utilisez l'icône en haut du Guide des versions EMR pour lier l'URL du flux directement à votre lecteur de flux préféré.
*D’après le banc d’essai 3TB TPC-DS comparant EMR 5.29.0 à EMR 6.0.0.