Amazon Redshift führt wichtige Leistungsoptimierung für Top-K-Abfragen ein
Amazon Redshift optimiert die Verarbeitung von Top-K-Abfragen (Abfragen mit ORDER BY- und LIMIT-Klauseln) weiter, indem irrelevante Datenblöcke intelligent übersprungen werden, damit schneller Ergebnisse ausgegeben werden. Dadurch wird die Menge der verarbeiteten Daten drastisch reduziert. Diese Optimierung ordnet die zu lesenden Datenblöcke auf der Grundlage der Min/Max-Werte der ORDER BY-Spalte neu und passt sie effizient an, wobei nur die K qualifiziertesten Zeilen im Speicher beibehalten werden. Wenn die ORDER BY-Spalte sortiert oder teilweise sortiert ist, verarbeitet Amazon Redshift jetzt nur die minimal benötigten Datenblöcke, anstatt ganze Tabellen zu scannen, wodurch unnötiger I/O- und Rechenaufwand vermieden wird.
Diese Erweiterung kommt insbesondere Top-K-Abfragen zugute, wenn die Daten dauerhaft in absteigender Reihenfolge (ORDER BY... DESC LIMIT K) in großen Tabellen gespeichert werden, bei denen qualifizierende Zeilen am Ende des Datenspeichers angehängt werden. Gängige Beispiele sind unter anderem:
- Suche nach den k letzten Bestellungen aus Millionen oder Milliarden von Transaktionen
- Abrufen der Top-K Produkte mit der besten Leistung oder der K Produkte mit der schlechtesten Leistung (Top-K in absteigender Reihenfolge) aus Ihrem Verkaufskatalog, der Hunderttausende Lagerhaltungseinheiten (SKUs) und Millionen oder Milliarden von Verkaufstransaktionen enthält, die mit allen Produkt-SKUs in Ihrem Verkaufskatalog verknüpft sind
- Suche der Top-K aktuellsten oder der Top-K ältesten (Top K in absteigender Reihenfolge) Prompts, die von einem grundlegenden großen Sprachmodell (LLM) abgeleitet wurden, aus Milliarden von Prompts.
Mit dieser neuen Optimierung verbessert sich die Leistung der Top-K Abfragen erheblich. Diese Optimierung für Top-K-Abfragen ist jetzt in Amazon Redshift ab Patch-Version P199 in allen AWS-Regionen, in denen Amazon Redshift verfügbar ist, ohne zusätzliche Kosten verfügbar. Diese Optimierung gilt automatisch für berechtigte Abfragen, ohne dass Abfragen neu geschrieben werden müssen oder die Konfiguration geändert werden muss.