Amazon SageMaker HyperPod がプレフィルとデコードの分離をサポート
Amazon SageMaker HyperPod がプレフィルとデコードの分離 (DPD) をサポートするようになりました。これは、大規模言語モデル (LLM) 推論の 2 つのフェーズであるプレフィルとデコードをそれぞれ専用の GPU プールに分け、GPU-Direct RDMA を使用して Elastic Fabric Adapter (EFA) 経由でプール間でキーバリュー (KV) キャッシュを転送する、推論の最適化手法の 1 つです。チャットアシスタント、エージェントパイプライン、検索拡張生成、長文ドキュメント分析のための LLM を本番環境で運用しているお客様は、混合トラフィック下で安定したトークンごとのレイテンシーと予測可能なスループットが必要です。しかし、プレフィルとデコードが同じ GPU を共有していると、1 つの長文コンテキストのリクエストが同時実行のリクエストのトークン生成を停止させることから、お客様は一方のフェーズを保護するためにもう一方のフェーズをオーバープロビジョニングせざるを得なくなります。
DPD を使用すると、お客様は 1 組の GPU でコンピューティング負荷の高いプレフィルを実行し、もう 1 組の GPU でメモリ帯域幅を要するデコードを実行できるため、2 つのフェーズが同じリソースをめぐって競合することがなくなります。これにより、同時実行が継続的に発生する場合にトークンごとのレイテンシーの一貫性が高まり、厳密なレイテンシー SLO でのグッドプットが高くなり、ワークロードの入力と出力の分布に合わせてプレフィルとデコードのキャパシティを個別にスケールできるようになります。インテリジェントなルーターが、分離をサポートするパスに長文コンテキストのリクエストを自動的に送信しながら、短いプロンプトはデコーダーに直接送信します。これにより、お客様は短いプロンプトの転送のオーバーヘッドを発生させることなく、必要なトラフィックで分離のメリットを得ることができます。お客様は、HyperPod 推論オペレーターの推論エンドポイントに既に使用しているのと同じ `InferenceEndpointConfig` カスタムリソースに `pdSpec` セクションを追加することで DPD を有効にできます。DPD は、HyperPod の既存の KV キャッシュオフロードおよびインテリジェントルーティング機能と組み合わせることができます。
DPD は、EKS オーケストレーターを使用する SageMaker HyperPod クラスターに対して、Amazon SageMaker HyperPod がサポートされているすべての AWS リージョンの EFA 対応インスタンスタイプで利用できます。詳細については、Amazon SageMaker AI デベロッパーガイドの「Disaggregated Prefill and Decode for HyperPod inference」を参照してください。