การกำหนดเส้นทางพร้อมท์อัจฉริยะของ Amazon Bedrock

อาจเป็นเรื่องท้าทายสำหรับนักพัฒนาที่จะทำความเข้าใจว่าการสืบค้นใดจำเป็นต้องใช้โมเดลขั้นสูงกว่า หรือการใช้โมเดลที่เล็กกว่า เร็วกว่า และถูกกว่าก็ได้ผลเช่นกัน เมื่อใช้เทคนิคการจับคู่พร้อมท์ขั้นสูงและการทำความเข้าใจโมเดล การกำหนดเส้นทางพร้อมท์อัจฉริยะจะคาดการณ์ประสิทธิภาพของแต่ละโมเดลสำหรับแต่ละคำขอและกำหนดเส้นทางแต่ละคำขอแบบไดนามิกไปยังโมเดลที่คาดว่ามีแนวโน้มที่จะให้การตอบสนองที่ต้องการในราคาที่ต่ำที่สุด คุณสามารถกำหนดค่าตัวกำหนดเส้นทางพร้อมท์โดยใช้โมเดลใดก็ได้ 2 โมเดลจากตระกูลเดียวกัน ซึ่งได้แก่ Anthropic (Haiku, Haiku 3.5, Claude Sonnet 3.5 v1, Claude Sonnet 3.5 v2), Meta Llama (3.1 8b, 70b, 3.2 11B, 90B และ 3.3 70B) และ Amazon Nova (Nova Lite และ Nova Pro)

เพื่อให้ได้ประสิทธิภาพและต้นทุนตามที่ต้องการสำหรับแอปพลิเคชันของคุณ คุณมักจะต้องพัฒนาเวิร์กโฟลว์การควบคุมระบบที่ซับซ้อน โดยกำหนดเส้นทางคำขอแต่ละรายการไปยังโมเดลที่เหมาะสมที่สุดสำหรับคำขอนั้น ๆ โดยอิงจากประสบการณ์ของคุณ เพื่อให้ได้ประสิทธิภาพตามต้องการในแง่ของความแม่นยำ ด้วยการกำหนดเส้นทางพร้อมท์อัจฉริยะ คุณสามารถลดภาระงานในการทดสอบโมเดลต่าง ๆ และการสร้างเวิร์กโฟลว์การควบคุมระบบที่ซับซ้อนได้หลายเดือนโดยเลือกตัวกำหนดเส้นทางพร้อมท์เริ่มต้นที่ Amazon Bedrock จัดหาให้ หรือดำเนินการกำหนดค่าด้วยตนเอง คุณสามารถกำหนดค่าตัวกำหนดเส้นทางของคุณได้อย่างง่ายดายโดยเลือกโมเดล 2 โมเดลจากตระกูลเดียวกัน จากนั้นกำหนดค่าเกณฑ์การกำหนดเส้นทางสำหรับตัวกำหนดเส้นทางของคุณ

แต่ละคำขอสามารถติดตามได้อย่างสมบูรณ์ ช่วยให้คุณสามารถระบุโมเดลที่จะใช้จัดการกับคำขอแต่ละรายการและช่วยให้คุณเข้าใจและแก้จุดบกพร่องได้อย่างง่ายดาย