ขณะนี้ Amazon Bedrock รองรับการฝังแบบบีบอัดจาก Cohere Embed แล้ว

โพสต์บน: 20 มิ.ย. 2024

ขณะนี้ Amazon Bedrock รองรับการฝังแบบบีบอัด (int8 และไบนารี) จากโมเดล Cohere Embed ซึ่งช่วยให้นักพัฒนาและธุรกิจสามารถสร้างแอปพลิเคชัน AI ช่วยสร้างที่มีประสิทธิภาพมากขึ้นโดยไม่กระทบต่อประสิทธิภาพการทำงาน Cohere Embed คือโมเดลการฝังข้อความชั้นนำ โมเดลนี้มีการใช้บ่อยที่สุดเพื่อขับเคลื่อนระบบการดึงข้อมูลเพื่อการสร้างแบบเสริม (RAG) และระบบค้นหาเชิงความหมาย

เอาต์พุตการฝังข้อความจากโมเดล Cohere Embed จะต้องจัดเก็บไว้ในฐานข้อมูลที่มีความสามารถในการค้นหาเวกเตอร์ โดยต้นทุนพื้นที่เก็บข้อมูลจะเกี่ยวข้องโดยตรงกับขนาดของเอาต์พุตการฝัง ตลอดจนความแม่นยำของรูปแบบตัวเลข เทคนิคการฝึกโมเดลที่รับรู้ถึงการบีบอัดของ Cohere ช่วยให้โมเดลสามารถส่งออกเอาต์พุตการฝังในรูปแบบความแม่นยำไบนารีและ int8 ซึ่งมีขนาดเล็กกว่ารูปแบบความแม่นยำ FP32 ที่ใช้บ่อยอย่างมาก โดยมีการลดความแม่นยำลงน้อยที่สุด วิธีนี้จะปลดล็อกความสามารถในการเรียกใช้แอปพลิเคชันการค้นหาระดับองค์กรของคุณได้เร็วขึ้น ราคาถูกลง และมีประสิทธิภาพมากขึ้น การฝัง int8 และไบนารีมีความน่าสนใจเป็นพิเศษสำหรับการตั้งค่าขนาดใหญ่แบบหลายสิทธิ์การใช้งาน โดยที่ความสามารถในการค้นหาการฝังนับล้านรายการภายในเสี้ยววินาทีถือเป็นข้อได้เปรียบทางธุรกิจที่สำคัญ การฝังแบบบีบอัดของ Cohere ช่วยให้คุณสามารถสร้างแอปพลิเคชันที่มีประสิทธิภาพเพียงพอสำหรับนำไปใช้ในการผลิตวงกว้าง ซึ่งจะเป็นการเร่งกลยุทธ์ AI เพื่อสนับสนุนพนักงานและลูกค้าของคุณ

การฝัง int8 และไบนารีของ Cohere Embed พร้อมใช้งานแล้วใน Amazon Bedrock ในทุก AWS Region ที่มีโมเดล Cohere Embed ให้บริการ หากต้องการดูเพิ่มเติม โปรดอ่านหน้าผลิตภัณฑ์ Cohere ใน Amazon Bedrock, เอกสารประกอบ และบล็อกการเปิดใช้ Cohere หากต้องการเริ่มต้นใช้งานโมเดล Cohere ใน Amazon Bedrock โปรดไปที่คอนโซล Amazon Bedrock