Amazon SageMaker AI がサーバーレスモデルカスタマイズジョブでカスタムシーケンス長をサポート
本日、Amazon SageMaker AI では、サーバーレスモデルカスタマイズジョブで使用するシーケンス長を設定できる機能を発表しました。Amazon SageMaker AI のサーバーレスモデルカスタマイズは、gpt-oss、Gemma、Llama、Nemotron、Qwen といった人気のモデルファミリーを含む、多数のオープンウェイトモデルのファインチューニングをサポートしています。これまで、各ファインチューニングレシピは、お客様が変更できない固定のシーケンス長で実行されていました。お客様は、ユースケースでより良い結果を得るために、これらのパラメータの変更が必要になる場合があります。また、一部のモデルでサポートしていた静的なデフォルト値よりも長いシーケンス長を求める声もお客様から寄せられていました。
今回のリリースにより、カスタマイズジョブのハイパーパラメータの一部として、シーケンス長パラメータを設定できるようになりました。設定できる値は、選択したモデルと手法について公開されている最大値までです。SFT ジョブと DPO ジョブでは dataset_max_len ハイパーパラメータを、RFT ジョブでは max_prompt_length および max_response_length ハイパーパラメータを設定できます。これにより、短い質問と回答のペアを扱う場合でも、複数ページにわたるドキュメントを扱う場合でも、トレーニングデータの特性に合わせてより細かく制御できます。公開されている最大値は、モデルと手法によって異なりますが、多くのモデルで最大 16K トークンです。
SageMaker AI のサーバーレスモデルカスタマイズは、米国東部 (バージニア北部)、米国西部 (オレゴン)、アジアパシフィック (東京)、欧州 (アイルランド) で利用できます。使用を開始するには、Amazon SageMaker Studio の [モデル] ページに移動してカスタマイズジョブを開始するか、SageMaker Python SDK を使用するか、任意のコーディングアシスタントでエージェントスキルを使用してください。詳細、モデルの一覧、および手法ごとにサポートされているシーケンス長については、SageMaker AI のドキュメントを参照してください。