Amazon SageMaker AI unterstützt jetzt benutzerdefinierte Sequenzlängen für Serverless-Modellanpassungen
Heute kündigt Amazon SageMaker AI die Möglichkeit an, die Sequenzlänge zu konfigurieren, die bei der Anpassung Ihres Serverless-Modells verwendet wird. Die Serverless-Modellanpassung von Amazon SageMaker AI unterstützt die Feinabstimmung für viele Open-Weight-Modelle, einschließlich Modellen beliebter Familien wie gpt-oss, Gemma, Llama, Nemotron und Qwen. Bisher liefen Feinabstimmungen mit einer festen Sequenzlänge ab, die Kunden nicht ändern konnten. Kunden müssen diese Parameter manchmal ändern, um bessere Ergebnisse für ihren Anwendungsfall zu erzielen. Kunden fragten auch nach längeren Sequenzlängen als den statischen Standardwerten, die wir bei einigen Modellen unterstützten.
Jetzt können Sie Sequenzlängenparameter als Teil der Hyperparameter des Anpassungsjobs festlegen, und zwar bis zum veröffentlichten Höchstwert für das von Ihnen gewählte Modell und die gewählte Methode. Sie können den Hyperparameter dataset_max_len für SFT- und DPO-Jobs oder die Hyperparameter max_prompt_length und max_response_length für RFT-Jobs festlegen. Auf diese Weise haben Sie mehr Kontrolle darüber, wie Sie die Merkmale Ihrer Trainingsdaten zuordnen, unabhängig davon, ob Sie mit kurzen Frage-Antwort-Paaren oder mehrseitigen Dokumenten arbeiten. Die veröffentlichten Höchstwerte betragen für viele Modelle je nach Modell und Methode bis zu 16.000 Token.
Die Serverless-Modellanpassung auf SageMaker AI ist in den Regionen USA Ost (Nord-Virginia), USA West (Oregon), Asien-Pazifik (Tokio) und Europa (Irland) verfügbar. Gehen Sie zunächst zur Modellseite in Amazon SageMaker Studio, um einen Anpassungsjob zu starten, verwenden Sie das SageMaker-Python-SDK oder nutzen Sie unsere Agentenfähigkeiten mit einem Codierungsassistenten Ihrer Wahl. Weitere Informationen und die Liste der Modelle und unterstützten Sequenzlängen für jede Methode finden Sie in der SageMaker-AI-Dokumentation.