การกำหนดเส้นทางพร้อมท์ Amazon Bedrock
ภาพรวม
การกำหนดเส้นทางพร้อมท์อัจฉริยะของ Amazon Bedrock จะพร้อมท์ไปยังโมเดลพื้นฐานที่แตกต่างกันภายในตระกูลโมเดล ช่วยให้คุณเพิ่มประสิทธิภาพคุณภาพการตอบสนองและค่าใช้จ่ายให้ดีขึ้น การกำหนดเส้นทางพร้อมท์อัจฉริยะสามารถลดต้นทุนได้ถึง 30% โดยไม่กระทบต่อความแม่นยำ
เพิ่มประสิทธิภาพสูงสุดด้วยต้นทุนที่ต่ำกว่า
อาจเป็นเรื่องท้าทายสำหรับนักพัฒนาที่จะเข้าใจว่าการสืบค้นใดบ้างที่จำเป็นต้องใช้โมเดลขั้นสูงกว่า หรือสามารถทำงานกับการสืบค้นที่เล็กกว่า เร็วกว่า และถูกกว่าได้ เมื่อใช้เทคนิคการจับคู่พร้อมท์ขั้นสูงและการทำความเข้าใจโมเดล การกำหนดเส้นทางพร้อมท์อัจฉริยะจะคาดการณ์ประสิทธิภาพของแต่ละโมเดลสำหรับแต่ละคำขอและกำหนดเส้นทางแต่ละคำขอแบบไดนามิกไปยังโมเดลที่คาดว่ามีแนวโน้มที่จะให้การตอบสนองที่ต้องการในราคาที่ต่ำที่สุด คุณสามารถเลือกได้จากเราเตอร์พร้อมท์สองตัวในการแสดงตัวอย่างซึ่งกำหนดเส้นทางคำขอระหว่าง Claude Sonnet 3.5 และ Claude Haiku หรือระหว่าง Llama 3.1 7B และ Llama 3.1 80B
ลดความพยายามในการพัฒนาของคุณ
เพื่อให้ได้ประสิทธิภาพและต้นทุนตามที่ต้องการสำหรับแอปพลิเคชันของคุณ คุณมักจะต้องพัฒนาเวิร์กโฟลว์การควบคุมระบบที่ซับซ้อน โดยกำหนดเส้นทางคำขอแต่ละรายการไปยังโมเดลที่เหมาะสมที่สุดสำหรับคำขอนั้น ๆ โดยอิงจากประสบการณ์ของคุณ เพื่อให้ได้ประสิทธิภาพตามต้องการในแง่ของความแม่นยำ ด้วย Intelligent Prompt Routing คุณสามารถประหยัดความพยายามหลายเดือนในการทดสอบโมเดลต่าง ๆ และสร้างเวิร์กโฟลว์การควบคุมระบบที่ซับซ้อน
ดีบักได้อย่างง่ายดายด้วยคำขอที่ติดตามได้อย่างสมบูรณ์
แต่ละคำขอสามารถติดตามได้อย่างเต็มที่ ช่วยให้คุณสามารถระบุโมเดลใดที่จัดการกับคำขอแต่ละรายการและช่วยให้คุณเข้าใจและดีบักได้อย่างง่ายดาย
หมายเหตุการกำหนดราคา
ในระหว่างการใช้งานตัวอย่าง ลูกค้าจะถูกเรียกเก็บค่าบริการแบบตามความต้องการตามปกติของโมเดลได้รับคำขอกำหนดเส้นทาง ดูหน้าการกำหนดราคาของเราสำหรับราคาโดยละเอียดสำหรับผู้ให้บริการโมเดลต่าง ๆ
