Publié le: Oct 14, 2021
La version 6.4 d'Amazon EMR prend désormais en charge Apache Spark 3.1.2 et améliore le temps d'exécution avec Amazon EMR Runtime pour Apache Spark. Amazon EMR 6.4 améliore les performances d'exécution de Presto pour PrestoDB 0.254 et d'Apache Hive 3.1.2 lorsque vous utilisez AWS Glue Data Catalog pour votre metastore.
Amazon EMR 6.4 prend en charge Apache Hudi 0.8.0, Trino 359, PrestoDB 0.254, Apache HBase 2.4.4, Apache Phoenix 5.1.2, Apache Flink 1.13.1, Apache Livy 0.7.1, JupyterHub 1.4.1, Apache Zookeeper 3.5.7 et Apache MXNet 1.8.0. Veuillez consulter notre guide de version pour en savoir plus.
Avec les versions 5.30, 6.1 et ultérieures d'Amazon EMR, vous avez désormais la possibilité de résilier automatiquement les clusters Amazon EMR inactifs. Cela vous aide à minimiser les coûts sans avoir à contrôler l'activité du cluster. Pour commencer, consultez notre documentation ici.
Amazon EMR Studio prend désormais en charge plusieurs langages dans le même bloc-notes basé sur Jupyter pour les charges de travail Spark. Veuillez consulter notre documentation pour en savoir plus. Vous pouvez désormais authentifier les utilisateurs d'Amazon EMR Studio à l'aide de l'authentification basée sur IAM ou de la fédération IAM, en addition d'AWS Single Sign-On. Si vous souhaitez en savoir plus, cliquez ici.
Amazon EMR 6.4 inclut Hudi 0.8.0, ce qui vous permet d'utiliser plusieurs applications pour écrire simultanément dans la même table Hudi. Vous pouvez obtenir davantage d'informations sur les fonctions de Hudi 0.8.0 ici. Vous pouvez désormais transmettre des métriques Hudi à Amazon CloudWatch, et définir des configurations Hudi au niveau du cluster à l'aide de l'API de configuration EMR et de la fonction de reconfiguration.
Amazon EMR 6.4 prend désormais en charge Spark SQL pour écrire et mettre à jour les tables de métadonnées Apache Hive sur les clusters Amazon EMR activés par Apache Ranger. Veuillez consulter notre documentation pour en savoir plus.
À partir des versions 5.7 et ultérieures d'Amazon EMR, vous avez désormais la possibilité de créer des clusters avec plusieurs Amazon Machine Images (AMI) personnalisées. Vous pouvez inclure à la fois des instances AWS Graviton et autres qu'AWS Graviton dans le même cluster. Pour en savoir plus, veuillez consulter notre documentation. Amazon EMR 6.4 est généralement disponible dans toutes les régions où Amazon EMR est disponible. Pour plus de détails, veuillez consulter la disponibilité régionale d'Amazon EMR ainsi que nos notes de mise à jour.