Publié le: Jun 7, 2022
Amazon EMR version 6.6 prend désormais en charge Apache Spark 3.2, Apache Spark RAPIDS 22.02, CUDA 11, Apache Hudi 0.10.1, Apache Iceberg 0.13, Trino 0.367 et PrestoDB 0.267. Vous pouvez utiliser la version d'Apache Spark 3.2 sur EMR optimisée pour les performances sur EC2, EKS et le nouveau service EMR sans serveur. De plus, Apache Hudi 0.10.1 et Apache Iceberg 0.13 sont disponibles sur EC2, EKS et le service sans serveur. Apache Hive 3.1.2 est disponible sur EMR sur EC2 et EMR sans serveur. Trino 0.367 et PrestoDB 0.267 sont uniquement disponibles sur EMR sur EC2.
Chaque version d'Amazon EMR utilise une Amazon Machine Image (AMI) Amazon Linux 2 (AL2) par défaut pour Amazon EMR. Avant Amazon EMR 6.6, l'AMI par défaut était basée sur l'AMI Amazon Linux la plus récente et la plus à jour disponible lors de la sortie d'Amazon EMR. Ainsi, la version d'Amazon EMR était « verrouillée » pour son AMI AL2 respective. Cela signifie que toute mise à jour d'AL2 n'était pas automatiquement appliquée, à moins de passer à la version d'Amazon EMR suivante ou de l'installer manuellement. Avec Amazon EMR 6.6 et les versions suivantes, chaque fois que vous lancez un EMR sur un cluster EC2, Amazon EMR utilise automatiquement la dernière version d'AL2. Consultez notre documentation pour en savoir plus.
Avec Amazon EMR version 6.6 et les versions ultérieures, les applications qui utilisent Log4j 1.x et Log4j 2.x seront mises à niveau pour utiliser respectivement Log4j 1.2.17 (ou version ultérieure) et Log4j 2.17.1 (ou version ultérieure). Ces applications n'exigeront pas l'utilisation des actions d'amorçage fournies ci-dessus pour mitiger les problèmes de CVE.
De plus, grâce à Amazon EMR version 6.6, le temps de démarrage d'un cluster sur EMR sur EC2 a diminué d'environ 80 secondes pour les clusters utilisant l'option d'AMI par défaut d'Amazon EMR et installant des applications courantes comme Apache Hadoop, Apache Spark et Apache Hive.
Amazon EMR version 6.6 est généralement disponible dans toutes les régions où Amazon EMR est disponible. Pour plus de détails, veuillez consulter la disponibilité régionale d'Amazon EMR ainsi que nos notes de mise à jour.