Amazon SageMaker AI, 이제 NVIDIA Nemotron 3.5 Lightning을 위한 서버리스 모델 사용자 지정을 지원
Amazon SageMaker AI는 이제 지도 미세 조정(SFT), 직접 선호도 최적화(DPO) 및 강화 미세 조정(RFT)을 사용하여 NVIDIA Nemotron 3.5 Lightning 모델에 대한 서버리스 모델 사용자 지정을 지원합니다. 이 모델은 NVIDIA의 최신 오픈 웨이트 모델 중 하나로, 300억 개의 전체 파라미터와 30억 개의 활성 파라미터를 갖춘 하이브리드 전문가 혼합 아키텍처를 사용합니다. 이 모델을 SageMaker AI에 배포하는 것 외에도 이제 특정 도메인과 워크플로에 맞게 조정할 수 있습니다.
모델 사용자 지정을 통해 독점 데이터를 사용하여 파운데이션 모델을 맞춤화할 수 있으므로, 적절한 크기의 소규모 모델로도 특정 태스크에서 프론티어 모델과 비견되는 품질을 구현하여 비용을 절감하고 지연 시간을 단축할 수 있습니다. SFT에 레이블이 지정된 데이터를 사용하여 도메인별 태스크의 정확도를 개선하거나, DPO에 선호도 데이터를 사용하여 출력을 조직의 어조에 맞게 조정하거나, RFT로 신호를 보상하여 새 태스크에서 성과를 개선할 수 있습니다. 서버리스 사용자 지정을 통해 SageMaker AI는 모든 인프라 프로비저닝과 훈련 오케스트레이션을 처리하므로 클러스터 관리보다는 데이터와 평가에 집중하고 사용한 만큼 비용을 지불하면 됩니다.
SageMaker AI 기반의 NVIDIA Nemotron 3.5 Lightning용 서버리스 모델 사용자 지정은 미국 동부(버지니아 북부), 미국 서부(오리건), 아시아 태평양(도쿄), 유럽(아일랜드) 리전에서 사용 가능합니다. 시작하려면 Amazon SageMaker Studio의 Models(모델) 페이지로 이동하여 사용자 지정 작업을 시작하거나 SageMaker Python SDK를 사용하여 프로그래밍 방식으로 액세스하세요. 자세히 알아보려면 Amazon SageMaker AI 모델 사용자 지정 설명서를 참조하세요.