Amazon SageMaker AI, 이제 서버리스 모델 사용자 지정 작업에 대한 사용자 정의 시퀀스 길이 지원
Amazon SageMaker AI는 오늘 서버리스 모델 사용자 지정 작업 중에 사용되는 시퀀스 길이를 구성는 기능을 발표했습니다. Amazon SageMaker AI 서버리스 모델 사용자 지정은 gpt-oss, Gemma, Lama, Nemotron, Qwen을 비롯한 인기 제품군의 모델을 포함하여 많은 오픈 웨이트 모델의 미세 조정을 지원합니다. 이전에 각 미세 조정 레시피는 고정된 시퀀스 길이로 실행되었고 고객이 수정할 수 없었습니다. 고객은 각자 사용 사례에서 더 나은 결과를 얻기 위해 이러한 파라미터를 수정해야 할 때가 있습니다. 그리고 일부 모델에 지원하는 정적 기본값보다 더 긴 시퀀스 길이를 요청하기도 했습니다.
이제 고객이 선택한 모델과 기법에 게시된 최대값 범위 내에서 사용자 지정 작업의 하이퍼파라미터의 일부로 시퀀스 길이 파라미터를 설정할 수 있습니다. SFT 및 DPO 작업에 대해 dataset_max_len 하이퍼파라미터를 설정하거나 RFT 작업에 max_prompt_length 및 max_response_length 하이퍼파라미터를 설정할 수 있습니다. 그러면 짧은 질문-답변 쌍으로 작업하든 여러 페이지로 구성된 문서로 작업하든 훈련 데이터 특성에 맞게 더 잘 제어할 수 있습니다. 많은 모델에 대해, 게시된 최대 토큰은 모델과 기법에 따라 최대 16K 토큰입니다.
SageMaker AI 기반 서버리스 모델 사용자 지정은 미국 동부(버지니아 북부), 미국 서부(오리건), 아시아 태평양(도쿄), 유럽(아일랜드) 리전에서 사용할 수 있습니다. 시작하려면 Amazon SageMaker Studio의 Models 페이지로 이동하여 사용자 지정 작업을 시작하거나, SageMaker Python SDK를 사용하거나, 원하는 코딩 어시스턴트와 함께 AWS 에이전트 스킬을 활용하세요. 자세한 내용을 확인하고, 각 기법당 지원되는 모델, 시퀀스 길이 목록을 보려면 SageMaker AI 설명서를 참조하세요.