Amazon EMR 7.12 unterstützt jetzt das Apache-Iceberg-v3-Tabellenformat
Amazon EMR 7.12 ist jetzt mit dem neuen Apache-Iceberg-v3-Tabellenformat mit Apache Iceberg 1.10 verfügbar. Diese Version ermöglicht es Ihnen, die Kosten beim Löschen von Daten zu senken, Governance und Compliance durch eine bessere Nachverfolgung von Änderungen auf Zeilenebene zu stärken und die Datensicherheit durch eine detailliertere Datenzugriffskontrolle zu verbessern.
Mit Iceberg v3 können Sie Daten kostengünstig löschen, da Iceberg v3 gelöschte Zeilen markiert, ohne ganze Dateien neu zu schreiben. Dadurch werden Ihre Daten-Pipelines beschleunigt und gleichzeitig die Speicherkosten gesenkt. Sie können Governance und Compliance stärken, indem Sie die Erstellungs- und Änderungshistorie jeder Zeile automatisch verfolgen und so die Audit Trails erstellen, die für regulatorische Anforderungen und die Erfassung von Änderungsdaten erforderlich sind. Sie können die Datensicherheit durch Verschlüsselung auf Tabellenebene erhöhen und so die Datenschutzbestimmungen für besonders sensible Daten einhalten.
Da Apache Spark 3.5.6 in dieser Version enthalten ist, können Sie diese Funktionen von Iceberg 1.10 nutzen, um robuste Data-Lakehouse-Architekturen auf Amazon S3 zu erstellen. Diese Version bietet auch Unterstützung für Daten-Governance-Operationen in Ihren Iceberg-Tabellen mithilfe von AWS Lake Formation. Darüber hinaus enthält diese Version auch Apache Trino 476.
Amazon EMR 7.12 ist in allen AWS-Regionen verfügbar, die Amazon EMR unterstützen. Weitere Informationen zur Amazon EMR 7.12-Version finden Sie in der Amazon EMR 7.12-Release-Dokumentation.