Amazon SageMaker HyperPod теперь поддерживает раздельную обработку входного текста (prefill) и генерацию ответа (decode)

Проведено: 6 июля 2026 г.

Amazon SageMaker HyperPod теперь поддерживает раздельную обработку входного текста и генерацию ответа (Disaggregated Prefill and Decode, DPD). Эта оптимизация логического вывода разделяет два этапа вывода больших языковых моделей (LLM) – обработку входного текста и генерацию ответа – на выделенные пулы графических процессоров и передает кэш «ключ-значение» (KV) между ними через Интерфейс эластичной матрицы (EFA) с помощью GPU-Direct RDMA. Клиенты, запускающие LLM в рабочей среде для чат‑ассистентов, агентных конвейеров, генерации ответа, дополненной результатами поиска (retrieval-augmented generation, RAG) и анализа длинных документов, нуждаются в стабильной задержке на каждый токен и предсказуемой пропускной способности при смешанном трафике. Однако когда этапы обработки входного текста и генерации ответа работают на одном и том же графическом процессоре, один запрос с длинным контекстом может заблокировать генерацию токенов для всех параллельных запросов и вынудить клиентов выделять чрезмерно много ресурсов для одного этапа, чтобы защитить другой.

С помощью DPD клиенты выполняют вычислительно нагруженную обработку входного текста на одном наборе графических процессоров, а генерацию ответа, ограниченную пропускной способностью памяти, – на другом, поэтому эти два этапа больше не конкурируют за одни и те же ресурсы. Это обеспечивает более стабильную задержку для каждого токена при постоянном параллелизме, более высокую производительность при более строгих требованиям к задержке и возможность независимого масштабирования ресурсов обработки входного текста и генерации ответа в соответствии с распределением входных и выходных данных рабочей нагрузки. Интеллектуальный маршрутизатор автоматически направляет запросы с длинным контекстом по раздельному пути, а более короткие текстовые запросы отправляет непосредственно в декодер, так что клиенты получают выгоду там, где она действительно нужна, без лишних накладных расходов на передачу данных для коротких текстовых запросов. Клиенты активируют DPD, добавляя раздел pdSpec к тому же настраиваемому ресурсу InferenceEndpointConfig, который они уже используют для адресов логического вывода в HyperPod Inference Operator. При этом DPD можно скомпоновать с существующими функциями выгрузки кэша KV и интеллектуальной маршрутизации в HyperPod.

DPD доступен для кластеров SageMaker HyperPod, использующих оркестратор EKS на типах инстансов с поддержкой EFA во всех регионах AWS, в которых доступен Amazon SageMaker HyperPod. Подробнее см. в разделе Обработка входного текста и генерации ответа для логического вывода HyperPod в Руководстве разработчика Amazon SageMaker AI.