Amazon SageMaker HyperPod, 이제 분리형 프리필 및 디코딩 지원
Amazon SageMaker HyperPod가 이제 Disaggregated Prefill and Decode(DPD)를 지원합니다. DPD는 대규모 언어 모델(LLM) 추론의 두 단계인 프리필과 디코딩을 전용 GPU 풀로 분리하고, GPU-Direct RDMA를 사용해 Elastic Fabric Adapter(EFA)로 둘 사이에 키-값(KV) 캐시를 전송하는 추론 최적화 기술입니다. 채팅 어시스턴트, 에이전틱 파이프라인, 검색 증강 생성, 긴 문서 분석을 위해 프로덕션 환경에서 LLM을 실행 중인 고객에게는 혼합 트래픽 환경에서 토큰별 일관된 지연 시간과 예측 가능한 처리량이 필수적입니다. 하지만 프리필과 디코딩이 동일한 GPU를 공유할 경우 긴 컨텍스트 요청 한 건으로 모든 동시 요청에 대한 토큰 생성이 중단될 수 있고, 그러면 고객이 한 단계를 보호하기 위해 다른 단계를 강제로 오버 프로비저닝하게 될 수 있습니다.
DPD를 사용하면 연산 집약적인 프리필을 한 GPU 세트에서 실행하고 메모리 대역폭 집약적인 디코딩 작업을 다른 GPU 세트에서 실행하므로, 두 단계에서 동일한 리소스를 놓고 경쟁하는 현상이 사라집니다. 따라서 지속적인 동시 접속 환경에서 토큰별 지연 시간을 더욱 일관되게 유지하고, 엄격한 지연 시간 SLO에서 처리량을 높이며, 워크로드의 입력 및 출력 분포에 맞춰 프리필과 디코딩 용량을 독립적으로 조정할 수 있습니다. 지능형 라우터가 분산된 경로를 통해 자동으로 긴 컨텍스트 요청을 전달하고 짧은 프롬프트는 디코더로 직접 전송합니다. 따라서 고객은 짧은 프롬프트에 대해 전송 오버헤드를 지불하지 않고도 필요한 트래픽에 대해서만 이점을 누릴 수 있습니다. 고객은 HyperPod Inference Operator의 추론 엔드포인트에 이미 사용하고 있는 동일한 `InferenceEndpointConfig` 사용자 지정 리소스에 `pdSpec` 섹션을 추가하여 DPD를 활성화할 수 있으며, DPD는 HyperPod의 기존 KV 캐시 오프로딩, 지능형 라우팅 기능과 함께 사용할 수 있습니다.
DPD는 Amazon SageMaker HyperPod가 제공되는 모든 AWS 리전에서 사용할 수 있으며, EFA 지원 인스턴스 유형에서 EKS 오케스트레이터를 사용하는 SageMaker HyperPod 클러스터에 제공됩니다. 자세히 알아보려면 Amazon SageMaker AI 개발자 안내서의 HyperPod 추론을 위한 분리형 프리필 및 디코딩을 참조하세요.