NVIDIA Nemotron 3 Nano, 이제 Amazon Bedrock에서 사용 가능
Amazon Bedrock은 이제 NVIDIA의 효율적인 언어 모델링 최신 혁신 기술인 NVIDIA Nemotron 3 Nano 30B A3B 모델을 지원합니다. 이 모델은 높은 추론 성능, 기본 도구 직접 호출 지원, 256k 토큰 컨텍스트 창을 통한 확장된 컨텍스트 처리를 제공합니다. 이 모델은 효율적인 하이브리드 전문가 혼합(MoE) 아키텍처를 사용하여 에이전트 및 코딩 워크로드에 대해 이전 모델보다 높은 처리량을 보장하는 동시에, 더 큰 모델의 추론 깊이를 유지합니다. 이 모델은 고급 강화 학습 기법과 대규모 다중 환경 사후 훈련을 통해 명시적 추론 제어와 더 높은 정확도를 지원하므로 특히 다중 에이전트 워크플로, 개발자 생산성 도구, 프로세스 자동화를 구축하는 기업, 스타트업, 개별 개발자 작업, 과학적, 수학적 추론 분석 등에 이상적입니다.
Amazon Bedrock 기반의 NVIDIA Nemotron 3 Nano는 Amazon Bedrock에서 제공하는 대규모 기계 학습 모델을 위한 새로운 분산 추론 엔진인 Project Mantle로 구동됩니다. Project Mantle은 Amazon Bedrock에 새 모델을 온보딩하는 작업을 간소화 및 가속화하고, 정교한 서비스 품질 제어를 통해 고성능의 신뢰할 수 있는 서버리스 추론을 제공하며, 자동화된 용량 관리 및 통합 풀을 통해 더 높은 기본 고객 할당량을 확보하고, OpenAI API 사양과의 기본 호환성을 제공합니다.
NVIDIA Nemotron 3 Nano는 현재 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오리건), 아시아 태평양(도쿄), 아시아 태평양(뭄바이), 남아메리카(상파울루), 유럽(런던), 유럽(밀라노) AWS 리전의 Amazon Bedrock에서 사용할 수 있으며 Amazon Bedrock에서 통합 및 OpenAI API 호환 서비스 엔드포인트를 모두 지원합니다. 자세히 알아보고 시작하려면 Amazon Bedrock 콘솔 또는 여기에 있는 서비스 설명서를 참조하세요. Amazon Bedrock OpenAI API 호환 서비스 엔드포인트를 시작하려면 여기에 있는 설명서를 참조하세요.