Publié le: Oct 31, 2022
La version 6.8 d'Amazon EMR prend désormais en charge Apache Hudi 0.11.1 et Apache Iceberg 0.14.0. Vous pouvez utiliser ces frameworks sur Amazon EMR sur EC2 et Amazon EMR sur EKS, ainsi que sur Amazon EMR sans serveur.
Apache Hudi 0.11.1 sur Amazon EMR 6.8 inclut la prise en charge de Spark 3.3.0, ajoute la prise en charge d'indices multimodaux et le saut de données avec le tableau de métadonnées qui permet d'ajouter un filtre Bloom et des indices de statistiques de colonnes à des tableaux, ce qui peut considérablement améliorer les performances de requête, ajoute un Async Indexer service (service d'indexeur Async) qui permet aux utilisateurs de créer différents types d'indices (par ex. fichiers, filtres Bloom et statistiques de colonnes) dans le tableau de métadonnées sans bloquer l'ingestion, inclut les améliorations Spark SQL qui ajoutent la prise en charge de la mise à jour ou de la suppression des enregistrements dans les tableaux Hudi en utilisant des champs de clés non primaires et des demandes de voyage dans le temps via l'horodatage comme syntaxe, inclut des améliorations d'intégration Flink avec prise en charge de Flink 1.13.x et 1.14.x et prise en charge de types de données complexes comme une carte ou une matrice, etc. En outre, Hudi 0.11.1 inclut plusieurs correctifs de bugs sur Hudi 0.11.0, qui était disponible dans la version 6.7 d’Amazon EMR. Pour plus de détails, reportez-vous aux documents de la version d’OSS Hudi.
Apache Iceberg 0.14.0 sur Amazon EMR 6.8 inclut la prise en charge de Spark 3.3.0, ajoute la prise en charge de Merge-on-read pour les instructions de FUSION et de MISE À JOUR, ajoute la prise en charge de la réécriture des partitions en utilisant l’ordre-Z qui permet de réorganiser les partitions pour des prédicats de requête efficace sur plusieurs colonnes et aussi pour grouper les données similaires, inclut différentes améliorations des performances pour la planification d'analyse dans les requêtes Spark, ajoute la prise en charge du saut d’un groupe de lignes au moyen des filtres Bloom Parquet, etc. Pour plus de détails, reportez-vous aux documents de la version d’OSS Iceberg.
Amazon EMR version 6.8 est généralement disponible dans toutes les régions où Amazon EMR est disponible. Pour plus de détails, veuillez consulter la disponibilité régionale d'Amazon EMR ainsi que nos notes de mise à jour.