Puerta de enlace de inferencia de Amazon SageMaker HyperPod para una inferencia del modelo de lenguaje de gran tamaño (LLM) escalable
La puerta de enlace de inferencia de Amazon SageMaker HyperPod es un sistema de enrutamiento compatible con GPU y nativo de Kubernetes que se implementa como un único complemento administrado por EKS en la infraestructura de SageMaker HyperPod existente, sin cambios en las aplicaciones. Al reemplazar el equilibrio de cargas por turnos poco inteligente por un enrutamiento basado en señales de inferencia en tiempo real, reduce la latencia del primer token hasta en un 82 % y el TTFT p99 entre un 97 y un 98 % en escenarios de tráfico en ráfagas y hardware mixto.
La puerta de enlace se basa en 3 componentes principales. El punto de conexión Envoy finaliza el tráfico HTTPS y expone un único punto de conexión privado por clúster. El enrutador basado en el contenido de cada solicitud lee el nombre del modelo directamente de cada solicitud entrante y lo dirige al grupo de GPU correcto. Esto permite que una puerta de enlace sirva a muchos modelos desde una única URL de punto de conexión sin necesidad de realizar cambios en el lado del cliente. El selector de puntos de conexión da continuamente pone una puntuación a cada pod de servidor de modelo en tiempo real según 6 señales de nivel de inferencia (utilización de la caché de KV, profundidad de la cola, residencia del adaptador LoRa, tasa de aciertos de la caché de prefijos, latencia prevista y solicitudes en ejecución) y selecciona el pod óptimo para cada solicitud individual.
La puerta de enlace funciona con cualquier modelo de servidor compatible con OpenAI, incluidos VLLM y SGLang, y no requiere cambios en el código de la aplicación.
El enrutamiento por clúster ya está disponible en todas las regiones de AWS en las que se admite el complemento de inferencia HyperPod de SageMaker. Próximamente: enrutamiento entre clústeres y regiones con una puerta de enlace de flota centralizada, limitación de velocidad global y configuración del tráfico teniendo en cuenta los costos.
Para obtener más información, lea el blog de lanzamiento y explore la documentación