이제 Amazon SageMaker JumpStart에서 NVIDIA Nemotron 3.5 Lightning 모델 사용 가능
이제 NVIDIA의 Nemotron 3.5 Lightning을 Amazon SageMaker JumpStart에서 사용할 수 있게 됨에 따라 AWS 고객이 동급 모델 중 가장 빠른 개방형 모델에 액세스할 수 있게 되어 지속적인 에이전트 워크로드와 신속한 태스크 실행이 가능해졌습니다.
Nemotron 3.5 Lightning은 개인 비서, 금융 문서 처리, 사이버 보안 분류 및 통신 운영을 포함한 도메인 전반에 걸쳐 지속적인 에이전트 및 고처리량 엔터프라이즈 자동화를 위해 설계되었습니다. 총 파라미터가 300억 개이고 순전파당 30억 개만 활성화되는 하이브리드 MoE(Mixture-of-Experts) 아키텍처를 기반으로 구축되어 동급 모델에 비해 처리량이 최대 4배 더 많고(초당 약 410개 토큰) 태스크 완료 속도도 30% 더 빠릅니다. Nemotron 3 Ultra를 토대로 하는 이 모델은 DFlash 예측 디코딩을 통해 최대 1백만 개의 컨텍스트 토큰을 처리하며 인기 있는 에이전트 하네스와 직접 통합됩니다. 이 모델은 개방형 데이터세트에서 완전한 개방형 훈련을 거치므로 기업에서 자체 도구, 워크플로 및 정책에 대해 사후 훈련을 진행할 수 있으며 완전한 소유권을 가지고 엣지, 온프레미스 또는 클라우드 인프라에 배포할 수 있습니다.
SageMaker JumpStart를 통해 고객은 몇 번의 클릭만으로 이 모델을 배포하여 특정 AI 워크로드를 지원할 수 있습니다.
이 모델을 시작하려면 SageMaker 콘솔의 SageMaker JumpStart 모델 카탈로그로 이동하거나 SageMaker Python SDK를 사용하여 모델을 AWS 계정에 배포하세요. SageMaker JumpStart에서 파운데이션 모델을 배포하고 사용하는 방법에 대한 자세한 내용은 Amazon SageMaker JumpStart 설명서를 참조하세요.