Amazon SageMaker HyperPod kini mendukung prefill dan decode yang terpisah
Amazon SageMaker HyperPod kini mendukung Disaggregated Prefill and Decode (DPD), sebuah optimasi inferensi yang memisahkan dua fase inferensi model bahasa besar (LLM) — prefill dan decode — ke dalam kumpulan GPU khusus dan mentransfer cache key-value (KV) di antara keduanya melalui Elastic Fabric Adapter (EFA) menggunakan GPU-Direct RDMA. Pelanggan yang menjalankan LLM dalam produksi untuk asisten chat, pipeline agen, generasi yang diperkaya dengan pengambilan data, dan analisis dokumen panjang membutuhkan latensi per-token yang konsisten dan throughput yang dapat diprediksi di bawah lalu lintas campuran, tetapi ketika pengisian awal dan dekode berbagi GPU yang sama, satu permintaan konteks panjang dapat menghentikan pembuatan token untuk setiap permintaan bersamaan dan memaksa pelanggan untuk menyediakan kapasitas berlebih pada satu fase untuk melindungi fase lainnya.
Dengan DPD, pelanggan menjalankan prefill yang membutuhkan daya komputasi tinggi pada satu set GPU dan decode yang membutuhkan bandwidth memori tinggi pada set GPU lainnya, sehingga kedua fase tersebut tidak lagi bersaing untuk mendapatkan sumber daya yang sama. Hal ini menghasilkan latensi per-token yang lebih konsisten di bawah konkurensi berkelanjutan, goodput yang lebih tinggi pada SLO latensi yang ketat, dan kemampuan untuk meningkatkan kapasitas prefill dan decode secara independen agar sesuai dengan distribusi input dan output beban kerja. Router cerdas secara otomatis mengarahkan permintaan konteks panjang melalui jalur yang terpisah dan mengirimkan prompt yang lebih pendek langsung ke dekoder, sehingga pelanggan mendapatkan manfaat pada lalu lintas yang membutuhkannya tanpa membayar biaya transfer tambahan untuk prompt pendek. Pelanggan mengaktifkan DPD dengan menambahkan bagian `pdSpec` ke sumber daya kustom `InferenceEndpointConfig` yang sama yang sudah mereka gunakan untuk titik akhir inferensi pada HyperPod Inference Operator, dan DPD dapat dikombinasikan dengan fitur offloading cache KV dan perutean cerdas yang ada pada HyperPod.
DPD tersedia untuk klaster SageMaker HyperPod yang menggunakan orkestrator EKS pada tipe instans yang mendukung EFA di semua AWS Region tempat Amazon SageMaker HyperPod tersedia. Untuk mempelajari lebih lanjut, lihat Prefill dan Decode Terpisah untuk inferensi HyperPod di Panduan Pengembang Amazon SageMaker AI.