Amazon Redshift представляет ключевую оптимизацию производительности для запросов top-k
Amazon Redshift продолжает оптимизировать обработку запросов top-k (с предложениями ORDER BY и LIMIT), интеллектуально пропуская незначительные блоки данных. Так результаты возвращаются быстрее, а объем обрабатываемых данных значительно сокращается. Эта оптимизация реорганизует и эффективно корректирует блоки данных для считывания на основе минимальных и максимальных значений столбца ORDER BY, сохраняя в памяти только K наиболее подходящих строк. При сортировке или частичной сортировке столбца ORDER BY Amazon Redshift теперь обрабатывает только минимальное количество необходимых блоков данных, а не сканирует целые таблицы, при этом устраняются ненужные операции ввода-вывода и сокращаются вычислительные затраты.
Это усовершенствование особенно полезно для запросов top-k, когда данные постоянно хранятся в порядке убывания (ORDER BY… DESC LIMIT K) на больших таблицах, где подходящие под условие строки добавляются в конец носителей данных. Типовые примеры:
- поиск k последних заказов из миллионов или миллиардов транзакций;
- получение top-k самых продаваемых товаров или k наименее продаваемых товаров (top-k в порядке убывания) из каталога продаж с сотнями тысяч ЕСУ и миллионами или миллиардами транзакций продаж, связанных со всеми ЕСУ в каталоге;
- поиск top-k последних или самых старых текстовых запросов (первые k в порядке убывания), выведенных фундаментальной большой языковой моделью (LLM) из миллиардов запросов.
Благодаря этой новой оптимизации значительно повышается производительность запросов top-k. Эта оптимизация доступна в Amazon Redshift без дополнительной оплаты начиная с выпуска патча P199 во всех регионах AWS, где предлагается Amazon Redshift. Она автоматически применяется к подходящим запросам без необходимости переписывать их или изменять конфигурацию.