Amazon SageMaker HyperPod ahora admite el prellenado y la decodificación desagregados
Amazon SageMaker HyperPod ahora admite el llenado previo y la decodificación desagregados (DPD), una optimización de inferencias que separa las dos fases de la inferencia de modelos de lenguaje de gran tamaño (LLM) (precompletar y decodificar) en grupos de GPU dedicados y transfiere la caché de valores clave (KV) entre ellos a través de Elastic Fabric Adapter (EFA) mediante RDMA directo de GPU. Los clientes que ejecutan LLM en producción para asistentes de chat, canalizaciones agenciales, generación aumentada de recuperación y análisis de documentos extensos necesitan una latencia constante por token y un rendimiento predecible en un tráfico mixto, pero cuando la precarga y la decodificación comparten la misma GPU, una sola solicitud de contexto prolongado puede detener la generación de tokens para cada solicitud simultánea y obligar a los clientes a aprovisionar en exceso una fase para proteger la otra.
Con DPD, los clientes ejecutan la precarga informática en un conjunto de GPU y la decodificación vinculada al ancho de banda de memoria en otro, por lo que las dos fases ya no compiten por los mismos recursos. Esto ofrece una latencia por token más uniforme en condiciones de concurrencia sostenida, un mayor goodput en los SLO de latencia estricta y la capacidad de escalar la capacidad de prellenado y decodificación de forma independiente para que coincida con la distribución de entrada y salida de la carga de trabajo. Un router inteligente dirige automáticamente las solicitudes de contexto largo a través de la ruta desagregada y envía las solicitudes más cortas directamente al decodificador, de modo que los clientes se benefician del tráfico que lo necesita sin tener que pagar gastos de transferencia en caso de solicitudes cortas. Los clientes habilitan DPD añadiendo una sección `pdSpec` al mismo recurso personalizado `InferenceEndpointConfig` que ya utilizan para los puntos de enlace de inferencia en el operador de inferencia de HyperPod, y DPD puede componerse con las funciones de descarga de caché KV y enrutamiento inteligente existentes en HyperPod.
El DPD está disponible para los clústeres de SageMaker HyperPod que utilizan el orquestador EKS en tipos de instancias compatibles con EFA en todas las regiones de AWS en las que Amazon SageMaker HyperPod está disponible. Para obtener más información, consulte Rellenado previo y descodificación desagregados para la inferencia de HyperPod en la Guía para desarrolladores de IA de Amazon SageMaker.