Amazon Redshift introduit une optimisation des performances clés pour les requêtes Top-K
Amazon Redshift optimise davantage le traitement des requêtes top-k (requêtes comportant des clauses ORDER BY et LIMIT) en ignorant de manière intelligente les blocs de données non pertinents pour renvoyer des résultats plus rapidement, réduisant ainsi considérablement la quantité de données traitées. Cette optimisation réorganise et ajuste efficacement les blocs de données à lire en fonction des valeurs min/max de la colonne ORDER BY, en ne conservant en mémoire que les K lignes les plus pertinentes. Lorsque la colonne ORDER BY est triée ou partiellement triée, Amazon Redshift ne traite désormais que le minimum de blocs de données nécessaires au lieu de scanner les tables entières, éliminant ainsi les E/S inutiles et les frais de calcul.
Cette amélioration profite particulièrement aux requêtes top-k lorsque les données sont stockées en permanence dans l’ordre décroissant (ORDER BY ... DESC LIMIT K) sur les grandes tables où des lignes pertinentes sont ajoutées à la fin du stockage des données. Les exemples les plus courants sont les suivants :
- Trouver les k commandes les plus récentes parmi des millions ou des milliards de transactions
- Récupérer les top-k produits les plus performants ou les k produits les moins performants (top-k par ordre décroissant) de votre catalogue de ventes contenant des centaines de milliers d’unités de gestion des stocks (SKU) et des millions ou des milliards de transactions de vente associées à toutes les SKU de produits de votre catalogue de vente
- Trouver les top-k invites les plus récentes ou les k les plus anciennes (top-k dans l’ordre décroissant) déduites par un grand modèle de langage (LLM) de fondation à partir de milliards d’invites.
Grâce à cette nouvelle optimisation, les performances des requêtes top-k s’améliorent considérablement. Cette optimisation pour les top-k requêtes les plus fréquentes est désormais disponible dans Amazon Redshift sans frais supplémentaires à compter de la version du correctif P199 dans toutes les Régions AWS où Amazon Redshift est disponible. Cette optimisation s’applique automatiquement aux requêtes éligibles sans nécessiter de réécriture des requêtes ni de modification de configuration.