Amazon Redshift unterstützt jetzt Just-In-Time (JIT) ANALYZE für Apache Iceberg-Tabellen
Amazon Redshift kündigt heute die allgemeine Verfügbarkeit der Just-In-Time (JIT) ANALYZE-Funktion für Apache-Iceberg-Tabellen an, die es Benutzern ermöglicht, leistungsstarke Lese- und Schreib-Analyseabfragen auf Apache-Iceberg-Tabellen im Redshift Data Lake durchzuführen. Das offene Tabellenformat Apache Iceberg wird von vielen Kunden zur Vereinfachung der Datenverarbeitung von schnell wachsenden und sich entwickelnden Tabellen in Data Lakes verwendet.
Im Gegensatz zu traditionellen Data Warehouses fehlen in Data Lakes oft umfassende Statistiken auf Tabellen- und Spaltenebene über die zugrunde liegenden Daten. Dies macht es für Abfrage-Engines schwierig, die optimalsten Abfrageausführungspläne zu wählen, ohne Einblick in die Tabellen- und Spaltenstatistiken zu haben. Suboptimale Abfrageausführungspläne können zu einer langsameren und weniger vorhersehbaren Leistung führen.
„JIT ANALYZE“ ist eine neue Funktion von Amazon Redshift, die während der Ausführung von Abfragen automatisch Statistiken für Iceberg-Tabellen sammelt und nutzt. Damit entfällt die manuelle Sammlung von Statistiken und die Abfrage-Engine erhält die Informationen, die sie benötigt, um optimale Abfrageausführungspläne zu erstellen. Das System verwendet intelligente Heuristiken, um Abfragen zu identifizieren, die von Statistiken profitieren, pflegt leichtgewichtige Skizzen-Datenstrukturen und erstellt hochwertige Statistiken auf Tabellen- und Spaltenebene. JIT ANALYZE liefert sofort eine Leistung, die der von Abfragen mit vorberechneten Statistiken entspricht, und bietet gleichzeitig die Grundlage für viele weitere Leistungsoptimierungen.
Die Amazon Redshift JIT ANALYZE-Funktion für Apache Iceberg-Tabellen ist jetzt in allen AWS-Regionen verfügbar, in denen Amazon Redshift verfügbar ist. Benutzer müssen keine Änderungen vornehmen oder Einstellungen aktivieren, um die Vorteile dieser neuen Data Lake-Abfrageoptimierung zu nutzen. Weitere Informationen finden Sie auf der Dokumentationsseite für den Amazon Redshift Management-Leitfaden.