Amazon EMR 7.12 prend désormais en charge le format de table Apache Iceberg v3
Amazon EMR 7.12 est désormais disponible avec le nouveau format de tableau Apache Iceberg v3 avec Apache Iceberg 1.10. Cette version vous permet de réduire les coûts liés à la suppression de données, de renforcer la gouvernance et la conformité grâce à un meilleur suivi des modifications au niveau des lignes et de renforcer la sécurité des données grâce à un contrôle d'accès aux données plus granulaire.
Avec Iceberg v3, vous pouvez supprimer des données de manière rentable, car Iceberg v3 marque les lignes supprimées sans avoir à réécrire des fichiers entiers, ce qui accélère vos pipelines de données tout en réduisant les coûts de stockage. Vous bénéficiez de meilleures capacités de gouvernance et de conformité grâce au suivi automatique de l'historique de création et de modification de chaque ligne, à la création des pistes d'audit nécessaires au respect des exigences réglementaires et à la saisie des données relatives aux modifications. Vous pouvez améliorer la sécurité des données grâce au chiffrement au niveau des tables, ce qui vous permet de respecter les réglementations en matière de confidentialité pour vos données les plus sensibles.
Apache Spark 3.5.6 étant inclus dans cette version, vous pouvez tirer parti de ces fonctionnalités d'Iceberg 1.10 pour créer des architectures de lacs de données robustes sur Amazon S3. Cette version inclut également la prise en charge des opérations de gouvernance des données dans vos tables Iceberg à l'aide d'AWS Lake Formation. En outre, cette version inclut également Apache Trino 476.
Amazon EMR 7.12 est disponible dans toutes les régions AWS qui prennent en charge Amazon EMR. Pour en savoir plus sur la version 7.12 d'Amazon EMR, consultez la documentation de la version 7.12 d'Amazon EMR.