โมเดล NVIDIA Nemotron 3.5 Lightning พร้อมใช้งานบน Amazon SageMaker JumpStart แล้ว
ขณะนี้ Nemotron 3.5 Lightning ของ NVIDIA พร้อมใช้งานบน Amazon SageMaker JumpStart ซึ่งช่วยให้ลูกค้า AWS สามารถเข้าถึงโมเดลแบบเปิดที่เร็วที่สุดในระดับเดียวกันสำหรับเวิร์กโหลด Agent แบบต่อเนื่องและการดำเนินงานอย่างรวดเร็ว
Nemotron 3.5 Lightning ได้รับการออกแบบมาสำหรับ Agent แบบต่อเนื่องและระบบอัตโนมัติระดับองค์กรที่มีอัตราการโอนถ่ายข้อมูลสูงในโดเมนต่าง ๆ ซึ่งรวมถึงผู้ช่วยส่วนบุคคล, การประมวลผลเอกสารทางการเงิน, การคัดกรองด้านการรักษาความปลอดภัยทางไซเบอร์ และการดำเนินงานด้านโทรคมนาคม ซึ่งสร้างขึ้นบนสถาปัตยกรรม Mixture-of-Experts (MoE) แบบไฮบริดที่มีพารามิเตอร์ทั้งหมด 30B และมีพารามิเตอร์ที่ใช้งานเพียง 3B ต่อการส่งต่อหนึ่งครั้ง โดยให้อัตราการโอนถ่ายข้อมูลสูงขึ้นถึง 4 เท่า (~410 โทเค็น/วินาที) และดำเนินงานเสร็จเร็วขึ้น 30% เมื่อเทียบกับโมเดลที่เทียบเคียงกัน โมเดลนี้ได้รับการ Distill จาก Nemotron 3 Ultra โดยสามารถจัดการบริบทได้สูงสุด 1 ล้านโทเค็นผ่านการถอดรหัสแบบคาดการณ์ DFlash และผสานรวมโดยตรงกับ Agent Harness ที่ได้รับความนิยม โมเดลนี้ได้รับการฝึกแบบเปิดอย่างเต็มรูปแบบบนชุดข้อมูลแบบเปิด ซึ่งช่วยให้องค์กรสามารถฝึกโมเดลเพิ่มเติมสำหรับเครื่องมือ, เวิร์กโฟลว์ และนโยบายของตนเอง และนำไปใช้จริงโดยมีสิทธิ์ความเป็นเจ้าของอย่างสมบูรณ์บนโครงสร้างพื้นฐาน Edge, ภายในองค์กร หรือในระบบคลาวด์
ด้วย SageMaker JumpStart จะทำให้ลูกค้าสามารถนำโมเดลนี้ไปใช้จริงได้ในไม่กี่คลิกเพื่อขับเคลื่อนเวิร์กโหลด AI เฉพาะของตนเอง
ในการเริ่มต้นใช้งานโมเดลเหล่านี้ ให้ไปที่แคตตาล็อกโมเดล SageMaker JumpStart ในคอนโซล SageMaker หรือใช้ SageMaker Python SDK เพื่อติดตั้งใช้งานโมเดลไปยังบัญชี AWS ของคุณ ดูข้อมูลเพิ่มเติมเกี่ยวกับการติดตั้งใช้งานและการใช้โมเดลพื้นฐานบน SageMaker JumpStart ได้ที่เอกสารประกอบของ Amazon SageMaker JumpStart