Amazon SageMaker AI รองรับการถอดรหัสเชิงคาดเดาของ EAGLE แล้ว
Amazon SageMaker AI รองรับ EAGLE (อัลกอริทึมการแยกตัวเพื่อประสิทธิภาพโมเดลภาษาที่ใหญ่ขึ้น) การถอดรหัสคาดเดาเพื่อปรับปรุงอัตราการโอนถ่ายข้อมูลการอนุมานของโมเดลภาษาขนาดใหญ่ได้ถึง 2.5 เท่า ความสามารถนี้ช่วยให้โมเดลสามารถทำนายและตรวจสอบโทเค็นหลายตัวพร้อมกันแทนที่จะทีละตัว ช่วยปรับปรุงเวลาตอบสนองสำหรับแอปพลิเคชัน AI
เมื่อลูกค้าติดตั้งใช้งานแอปพลิเคชัน AI ในการใช้งานจริง พวกเขาต้องการความสามารถในการให้บริการโมเดลที่มีความหน่วงต่ำและอัตราการโอนถ่ายข้อมูลสูง เพื่อมอบประสบการณ์ผู้ใช้ที่ตอบสนองได้ นักวิทยาศาสตร์ข้อมูลและวิศวกรของ ML ขาดวิธีการที่มีประสิทธิภาพในการเร่งการสร้างโทเค็นโดยไม่เสียสละคุณภาพเอาต์พุตหรือต้องการสถาปัตยกรรมใหม่แบบจำลองที่ซับซ้อน ทำให้ยากที่จะตอบสนองความคาดหวังด้านประสิทธิภาพภายใต้การรับส่งข้อมูลในโลกแห่งความเป็นจริง ทีมใช้เวลาอย่างมากในการเพิ่มประสิทธิภาพโครงสร้างพื้นฐานแทนที่จะปรับปรุงแอปพลิเคชัน AI ด้วยการถอดรหัสคาดเดา EAGLE SageMaker AI ช่วยให้ลูกค้าสามารถเร่งปริมาณการอนุมานได้โดยอนุญาตให้โมเดลสร้างและตรวจสอบโทเค็นหลายตัวแบบขนานมากกว่าทีละรายการ รักษาคุณภาพเอาต์พุตเดียวกันในขณะที่เพิ่มอัตราการโอนถ่ายข้อมูลได้อย่างมาก SageMaker AI จะเลือกระหว่าง EAGLE 2 และ EAGLE 3 โดยอัตโนมัติตามสถาปัตยกรรมโมเดลของคุณ และให้งานการเพิ่มประสิทธิภาพในตัวซึ่งใช้ชุดข้อมูลที่คัดสรรหรือข้อมูลแอปพลิเคชันของคุณเองเพื่อฝึกการคาดเดาส่วนหัวเฉพาะทาง จากนั้นคุณสามารถติดตั้งใช้งานโมเดลที่ปรับให้เหมาะสมผ่านเวิร์กโฟลว์การอนุมานของ SageMaker AI ที่มีอยู่ของคุณโดยไม่มีการเปลี่ยนแปลงโครงสร้างพื้นฐาน ทำให้คุณสามารถส่งมอบแอปพลิเคชัน AI ที่เร็วขึ้นพร้อมประสิทธิภาพที่คาดเดาได้
คุณสามารถใช้การถอดรหัสคาดเดา EAGLE ใน AWS Region ต่อไปนี้: สหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียฝั่งเหนือ), สหรัฐอเมริกาฝั่งตะวันตก (ออริกอน), สหรัฐอเมริกาฝั่งตะวันออก (โอไฮโอ), เอเชียแปซิฟิก (โตเกียว), ยุโรป (ไอร์แลนด์), เอเชียแปซิฟิก (สิงคโปร์), และยุโรป (แฟรงก์เฟิร์ต)
หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการถอดรหัสคาดเดา EAGLE โปรดไปที่บล็อกข่าว AWS ที่นี่ และเอกสารประกอบ SageMaker AI ที่นี่