Amazon SageMaker AI ora supporta lunghezze di sequenza personalizzate per i processi di personalizzazione del modello serverless
Oggi, Amazon SageMaker AI annuncia la possibilità di configurare la lunghezza della sequenza utilizzata durante il processo di personalizzazione del modello serverless. La personalizzazione del modello serverless di Amazon SageMaker AI supporta il fine-tuning per molti modelli open-weight, tra cui modelli di famiglie popolari come gpt-oss, Gemma, Llama, Nemotron e Qwen. In precedenza, ogni ricetta di fine-tuning veniva eseguita a una lunghezza di sequenza fissa che i clienti non potevano modificare. Talvolta i clienti devono modificare questi parametri per ottenere risultati migliori per il proprio caso d'uso. I clienti hanno inoltre richiesto lunghezze di sequenza superiori rispetto alle impostazioni predefinite statiche supportate su alcuni modelli.
Ora puoi impostare i parametri di lunghezza della sequenza all'interno degli iperparametri del processo di personalizzazione, fino al valore massimo pubblicato per il modello e la tecnica selezionati. Puoi impostare l'iperparametro dataset_max_len per i processi SFT e DPO, oppure impostare gli iperparametri max_prompt_length e max_response_length per i processi RFT. Ciò garantisce un maggiore controllo per l'adeguamento alle caratteristiche dei dati di addestramento, sia che si lavori con brevi coppie domanda-risposta o con documenti multipagina. I valori massimi pubblicati raggiungono fino a 16K token per molti modelli, a seconda del modello e della tecnica utilizzati.
La personalizzazione del modello serverless su SageMaker AI è disponibile nelle regioni Stati Uniti orientali (Virginia settentrionale), Stati Uniti occidentali (Oregon), Asia Pacifico (Tokyo) ed Europa (Irlanda). Per iniziare, passa alla pagina Modelli in Amazon SageMaker Studio per avviare un processo di personalizzazione, utilizza l'SDK di SageMaker per Python oppure impiega le nostre agent skill con l'assistente per la scrittura del codice di tua scelta. Per ulteriori informazioni e per consultare l'elenco dei modelli e delle lunghezze di sequenza supportate per ciascuna tecnica, consulta la documentazione di SageMaker AI.