확장 가능한 LLM 추론을 위한 Amazon SageMaker HyperPod Inference Gateway
Amazon SageMaker HyperPod Inference Gateway는 애플리케이션을 변경하지 않고 기존 SageMaker HyperPod 인프라에 단일 EKS 관리형 추가 기능으로 배포되는 Kubernetes 고유의 GPU 인식 라우팅 시스템입니다. 비지능적인 라운드 로빈 로드 밸런싱을 실시간 추론 신호 기반 라우팅으로 대체함으로써 혼합 하드웨어 및 버스트 트래픽 시나리오에서 첫 번째 토큰 지연 시간을 최대 82% 줄이고 p99 TTFT를 97~98% 줄입니다.
Amazon SageMaker HyperPod Inference Gateway는 3가지 핵심 구성 요소를 중심으로 구축되었습니다. Envoy Endpoint는 HTTPS 트래픽을 종료하고 클러스터당 단일 프라이빗 엔드포인트를 노출합니다. Body Based Router는 수신되는 각 요청에서 모델 이름을 직접 읽고 이를 올바른 GPU 풀로 라우팅하므로 클라이언트 측 변경 없이 하나의 게이트웨이가 단일 엔드포인트 URL에서 여러 모델을 처리할 수 있습니다. Endpoint Picker는 KV 캐시 사용률, 대기열 길이, LoRa 어댑터 상주, 접두사 캐시 적중률, 예상 지연 시간 및 실행 요청 등 6개의 추론 수준 신호를 통해 모든 모델 서버 포드에 실시간으로 지속적으로 점수를 매기고 각 개별 요청에 가장 적합한 포드를 선택합니다.
Amazon SageMaker HyperPod Inference Gateway는 vLLM 및 sGlang을 비롯한 모든 OpenAI 호환 모델 서버에서 작동하므로 애플리케이션 코드를 변경할 필요가 없습니다.
클러스터별 라우팅은 현재 SageMaker HyperPod 추론 추가 기능이 지원되는 모든 AWS 리전에서 사용할 수 있습니다. 중앙 집중식 플릿 게이트웨이, 글로벌 속도 제한, 비용 계층 인식 트래픽 셰이핑을 통한 클러스터 간 및 리전 간 라우팅은 곧 제공될 예정입니다.