โมเดล langcache-embed-v3-small, Mellum2-12B-A2.5B-Thinking และ LightOnOCR-2-1B พร้อมใช้งานบน Amazon SageMaker JumpStart แล้ว
ขณะนี้ โมเดล langcache-embed-v3-small ของ Redis, Mellum2-12B-A2.5B-Thinking ของ JetBrains และ LightOnOCR-2-1B ของ LightOn พร้อมใช้งานบน Amazon SageMaker JumpStart ซึ่งขยายพอร์ตโฟลิโอของโมเดลพื้นฐานที่พร้อมให้บริการแก่ลูกค้า AWS โมเดลทั้งสามนี้มาพร้อมความสามารถเฉพาะทางที่ครอบคลุมการเพิ่มประสิทธิภาพการแคชเชิงความหมาย การใช้เหตุผลที่เน้นโค้ด และ OCR เอกสารแบบครบวงจร ซึ่งช่วยให้ลูกค้าสามารถติดตั้งใช้งานโซลูชัน AI ที่มีประสิทธิภาพสูงและปรับขนาดได้บนโครงสร้างพื้นฐาน AWS
langcache-embed-v3-small ได้รับการเพิ่มประสิทธิภาพสำหรับการแคชเชิงความหมายในแอปพลิเคชัน LLM โมเดลนี้แมปประโยคและย่อหน้าลงในพื้นที่เวกเตอร์แบบหนาแน่นที่สร้างขึ้นตามวัตถุประสงค์เพื่อระบุคิวรีที่มีความหมายเทียบเท่ากันโดยไม่คำนึงถึงการใช้ถ้อยคำ ซึ่งช่วยให้สามารถพบข้อมูลในแคชได้อย่างชาญฉลาด เพื่อลดการเรียกใช้ LLM ที่ซ้ำซ้อนและเร่งเวลาการตอบสนองในเวิร์กโหลดการอนุมานที่มีปริมาณสูง
Mellum2-12B-A2.5B-Thinking มีประสิทธิภาพโดดเด่นในการสร้างโค้ด การแก้ไขข้อบกพร่อง การใช้เหตุผลแบบหลายขั้นตอน และเวิร์กโฟลว์การเขียนโค้ดแบบ Agent โมเดลนี้ใช้สถาปัตยกรรม Mixture-of-Experts (ผู้เชี่ยวชาญ 64 รายการ โดยเปิดใช้งาน 8 รายการต่อโทเค็น) โดยเปิดใช้งานพารามิเตอร์เพียง 2.5B จากพารามิเตอร์ทั้งหมด 12B ต่อการส่งต่อหนึ่งครั้ง พร้อมความยาวบริบท 131,072 โทเค็น โมเดลนี้สร้างลำดับการใช้เหตุผลแบบ Chain-of-Thought อย่างชัดเจนก่อนการตอบขั้นสุดท้าย โดยให้การอนุมานที่มีอัตราการโอนถ่ายข้อมูลสูงและเวลาแฝงต่ำ ซึ่งเหมาะอย่างยิ่งสำหรับการกำหนดเส้นทาง, RAG, Agent ย่อย และการนำไปใช้จริงแบบส่วนตัว
LightOnOCR-2-1B มอบการแปลงเอกสารเป็นข้อความแบบหลายภาษาอย่างครบวงจรสำหรับ PDF, เอกสารสแกน และรูปภาพ โดยไม่ต้องใช้ไปป์ไลน์ OCR ที่เปราะบาง โมเดลภาษาภาพที่มีพารามิเตอร์ 1B นี้จะแปลงรูปภาพของหน้าเป็นข้อความที่เป็นระเบียบและเรียงลำดับอย่างเป็นธรรมชาติโดยตรง ซึ่งให้ประสิทธิภาพระดับแนวหน้าบน OlmOCR-Bench ขณะที่มีขนาดเล็กกว่าวิธีการที่เป็นคู่แข่งประมาณ 9 เท่าและทำงานได้รวดเร็วกว่ามาก
ด้วย SageMaker JumpStart ลูกค้าสามารถติดตั้งใช้งานโมเดลใดก็ได้เหล่านี้ด้วยการคลิกเพียงไม่กี่ครั้ง เพื่อรองรับกรณีการใช้งาน AI เฉพาะของตน
ในการเริ่มต้นใช้งานโมเดลเหล่านี้ ให้ไปที่แคตตาล็อกโมเดล SageMaker JumpStart ในคอนโซล SageMaker หรือใช้ SageMaker Python SDK เพื่อติดตั้งใช้งานโมเดลไปยังบัญชี AWS ของคุณ ดูข้อมูลเพิ่มเติมเกี่ยวกับการติดตั้งใช้งานและการใช้โมเดลพื้นฐานบน SageMaker JumpStart ได้ที่เอกสารประกอบของ Amazon SageMaker JumpStart