Amazon Bedrock Model Distillation มีให้บริการโดยทั่วไปแล้ว
Model Distillation คือกระบวนการถ่ายทอดความรู้จากโมเดลที่มีความสามารถสูงกว่า (ครู) ไปยังโมเดลที่มีความสามารถน้อยกว่า (นักเรียน) โดยมีเป้าหมายเพื่อทำให้โมเดลขนาดเล็ก (Student Model) ที่ทำงานได้รวดเร็วและประหยัดต้นทุนมากกว่าสามารถให้ประสิทธิภาพใกล้เคียงกับโมเดลครูในกรณีการใช้งานเฉพาะทาง ด้วยความพร้อมใช้งานทั่วไป ตอนนี้เราเพิ่มการสนับสนุนสำหรับโมเดลใหม่ต่อไปนี้: Amazon Nova Premier (ครู) และ Nova Pro (นักเรียน), Claude 3.5 Sonnet v2 (ครู), Llama 3.3 70B (ครู) และ Llama 3.2 1B/3B (นักเรียน) Amazon Bedrock Model Distillation ช่วยให้โมเดลที่เล็กกว่าสามารถคาดการณ์การเรียกใช้ฟังก์ชันที่สำหรับกรณีการใช้งานเอเจนต์ได้อย่างแม่นยำ ในขณะเดียวกันก็ช่วยส่งมอบเวลาตอบสนองที่เร็วขึ้นอย่างมากและลดต้นทุนการดำเนินงาน โมเดลที่มีขนาดเล็กลงใน Amazon Bedrock นั้นเร็วขึ้น 500% และราคาถูกกว่าโมเดลดั้งเดิมถึง 75% โดยมีการสูญเสียความถูกต้องแม่นยำน้อยกว่า 2% สำหรับกรณีการใช้งานอย่าง RAG นอกจากกรณีการใช้งาน RAG แล้ว Model Distillation ยังเพิ่มการสนับสนุนสำหรับการเสริมข้อมูลสำหรับกรณีการใช้งานเอเจนต์สำหรับการคาดการณ์การเรียกใช้ฟังก์ชัน
Amazon Bedrock Model Distillation นำเสนอเวิร์กโฟลว์เดียวที่ทำให้กระบวนการที่จำเป็นในการสร้างการตอบสนองของครูเป็นไปโดยอัตโนมัติ เพิ่มการสังเคราะห์ข้อมูลเพื่อปรับปรุงการตอบสนองของครู จากนั้นฝึกโมเดลขนาดเล็ก (Student Model) Amazon Bedrock Model Distillation อาจเลือกใช้วิธีการสังเคราะห์ข้อมูลที่แตกต่างกันตามความเหมาะสมกับกรณีการใช้งานของคุณเพื่อสร้างโมเดลที่มีขนาดเล็กลงซึ่งมีประสิทธิภาพใกล้เคียงกับโมเดลขั้นสูงในกรณีการใช้งานเฉพาะทางนั้น
เรียนรู้เพิ่มเติมในเอกสารประกอบ เว็บไซต์ และบล็อกของเรา