Amazon SageMaker AI теперь поддерживает пользовательские длины последовательностей для заданий бессерверной настройки моделей
Сегодня Amazon SageMaker AI объявляет о возможности настраивать длину последовательности, используемую при выполнении задания бессерверной настройки моделей. Бессерверная настройка моделей в Amazon SageMaker AI поддерживает точную настройку многих моделей с открытыми весами, включая модели из таких популярных семейств, как gpt-oss, Gemma, Llama, Nemotron и Qwen. Ранее каждый рецепт точной настройки выполнялся с фиксированной длиной последовательности, которую клиенты не могли изменить. Иногда клиентам необходимо менять эти параметры для достижения лучших результатов в своем сценарии использования. Клиенты также запрашивали увеличение длины последовательности сверх статических значений по умолчанию, которые действовали для некоторых моделей.
Теперь вы можете задавать параметры длины последовательности в рамках настройки гиперпараметров задания вплоть до опубликованного максимального значения для выбранной модели и метода. Для заданий SFT и DPO можно задать гиперпараметр dataset_max_len, а для заданий RFT – гиперпараметры max_prompt_length и max_response_length. Это позволяет лучше контролировать соответствие характеристик обучающих данных независимо от того, работаете ли вы с короткими парами вопросов и ответов или многостраничными документами. Опубликованные максимальные значения зависят от модели и метода; для многих моделей они составляют до 16 000 токенов.
Бессерверная настройка моделей в SageMaker AI доступна в следующих регионах: Азиатско-Тихоокеанский регион (Токио), Восток США (Северная Вирджиния), Запад США (Орегон) и Европа (Ирландия). Для начала работы перейдите на страницу «Модели» в Студии Amazon SageMaker и запустите задание по настройке. Воспользуйтесь SageMaker Python SDK или навыками агентов, выбрав помощника по программированию на свой вкус. Дополнительные сведения и список моделей и поддерживаемых длин последовательностей для каждого метода см. в документации по SageMaker AI.