Amazon SageMaker AI ahora admite longitudes de secuencia personalizadas para trabajos de personalización de modelos sin servidor
Hoy, Amazon SageMaker AI anuncia la posibilidad de configurar la longitud de secuencia utilizada durante el trabajo de personalización del modelo sin servidor. La personalización de modelos sin servidor de Amazon SageMaker AI admite el refinamiento de muchos modelos de peso libre, incluidos los modelos de familias populares, como gpt-oss, Gemma, Llama, Nemotron y Qwen. Anteriormente, cada receta de refinamiento se ejecutaba con una longitud de secuencia fija que los clientes no podían modificar. A veces, los clientes necesitan modificar estos parámetros para lograr mejores resultados en su caso de uso. Los clientes también solicitaron longitudes de secuencia más largas que las configuraciones estáticas predeterminadas que admitimos en algunos modelos.
Ahora puede establecer los parámetros de longitud de secuencia como parte de los hiperparámetros del trabajo de personalización, en cualquier lugar, hasta el máximo publicado para el modelo y la técnica elegidos. Puede configurar el hiperparámetro dataset_max_len para los trabajos de SFT y DPO o establecer los hiperparámetros max_prompt_length y max_response_length para los trabajos de RFT. Esto le da más control para que coincidan con las características de sus datos de entrenamiento, tanto si trabaja con pares breves de preguntas y respuestas como con documentos de varias páginas. Los máximos publicados son de hasta 16.000 tokens para muchos modelos, según el modelo y la técnica.
La personalización del modelo sin servidor en SageMaker AI está disponible en el este de EE. UU. (norte de Virginia), el oeste de EE. UU. (Oregón), Asia-Pacífico (Tokio) y Europa (Irlanda). Para empezar, vaya a la página Modelos en Amazon SageMaker Studio a fin de iniciar un trabajo de personalización, utilice el SDK de Python de SageMakero utilice nuestras habilidades del agente con el asistente de codificación que elija. Para obtener más información y consultar la lista de modelos y longitudes de secuencia compatibles por técnica, consulte la documentación de SageMaker AI.