Amazon Redshift introduz a principal otimização de desempenho para consultas top-k
O Amazon Redshift otimiza ainda mais o processamento de consultas top-k (consultas com as cláusulas ORDER BY e LIMIT) ao ignorar de forma inteligente blocos de dados irrelevantes para agilizar o retorno de resultados, reduzindo drasticamente a quantidade de dados processados. Essa otimização reordena e ajusta com eficiência os blocos de dados a serem lidos com base nos valores mínimo/máximo da coluna de ORDER BY, mantendo somente as k linhas mais qualificadas na memória. Agora, quando a coluna de ORDER BY é classificada ou parcialmente classificada, o Amazon Redshift processa somente o mínimo de blocos de dados necessários, em vez de escanear tabelas inteiras, eliminando sobrecargas desnecessárias de computação e E/S.
Esse aprimoramento beneficia as consultas top-k principalmente quando os dados são armazenados permanentemente em ordem decrescente (ORDER BY... DESC LIMIT K) em tabelas grandes em que as linhas qualificadas são anexadas ao final do armazenamento de dados. Alguns exemplos incluem:
- Encontrar os k pedidos mais recentes de milhões ou bilhões de transações
- Recuperar os top-k produtos com melhor desempenho ou os top-k produtos com pior desempenho (top-k em ordem decrescente) de um catálogo de vendas contendo centenas de milhares de unidades de manutenção de estoque (SKUs) e milhões ou bilhões de transações de vendas associadas a todos os SKUs de produtos no catálogo de vendas
- Encontrar os top-k prompts mais recentes ou os top-k prompts mais antigos (top-k em ordem decrescente) inferidos por um grande modelo de linguagem (LLM) de base entre bilhões de solicitações.
Com essa nova otimização, o desempenho das consultas top-k melhora drasticamente. Essa otimização para consultas top-k já está disponível sem custo adicional no Amazon Redshift a partir do patch versão P199 em todas as regiões da AWS que oferecem o Amazon Redshift. Essa otimização se aplica automaticamente às consultas qualificadas sem exigir nenhuma regravação ou alteração de configuração das consultas.