AgentCore Gateway รองรับ Bedrock InvokeModel API และการสลับไปใช้โมเดลสำรองแล้ว
ขณะนี้ Amazon Bedrock AgentCore Gateway รองรับ Amazon Bedrock InvokeModel และ InvokeModelWithResponseStream API บนตำแหน่งข้อมูลสำหรับการอนุมาน พร้อมทั้งรองรับการกำหนดเส้นทางเพื่อสลับไปใช้โมเดลสำรองสำหรับการรับส่งข้อมูลการอนุมาน ด้วยการรองรับ InvokeModel คุณสามารถชี้การผสานรวม Amazon Bedrock SDK ที่มีอยู่ไปยังเกตเวย์ และเข้าถึงผู้ให้บริการโมเดลรายใดก็ได้ผ่านตำแหน่งข้อมูลที่มีการกำกับดูแลเพียงจุดเดียว โดยไม่ต้องเขียนโค้ดไคลเอ็นต์ใหม่สำหรับผู้ให้บริการแต่ละราย เมื่อใช้การสลับไปใช้โมเดลสำรอง เกตเวย์จะกำหนดเส้นทางคำขอไปยังโมเดลหรือผู้ให้บริการทางเลือกโดยอัตโนมัติเมื่อปลายทางหลักถูกควบคุมปริมาณ, ไม่มีปริมาณการประมวลผลเพียงพอ หรือไม่สามารถเข้าถึงได้ เพื่อให้ Agent ของคุณยังคงพร้อมใช้งานโดยที่ไคลเอ็นต์แต่ละรายไม่ต้องใช้ตรรกะการลองใหม่ของตนเอง
สำหรับการกำหนดเส้นทางเพื่อสลับไปใช้โมเดลสำรอง คุณสามารถกำหนดลำดับปลายทางทางเลือกในกฎของเกตเวย์ พร้อมเงื่อนไขที่ทริกเกอร์ให้เกิดการสลับ เช่น การควบคุมปริมาณ, ข้อผิดพลาดของเซิร์ฟเวอร์ หรือการหมดเวลารอการตอบกลับ เซอร์กิตเบรกเกอร์ในตัวจะข้ามปลายทางที่กำลังล้มเหลวอยู่ เพื่อให้คำขอไปถึงปลายทางที่พร้อมใช้งานได้เร็วขึ้น และช่วยหลีกเลี่ยงเวลาแฝงเพิ่มเติมจากการพยายามที่ล้มเหลว การกำหนดเส้นทางเพื่อสลับไปใช้โมเดลสำรองจะเกิดขึ้นเบื้องหลัง ซึ่งหมายความว่าคุณส่งคำขอหนึ่งครั้งและได้รับการตอบกลับหนึ่งครั้ง ไม่ว่าภายในจะมีการลองผิดลองถูกกับคำขอนั้นอย่างไรก็ตาม
ฟีเจอร์เหล่านี้พร้อมให้ใช้งานใน AWS Region ทุกแห่งที่ Amazon Bedrock AgentCore Gateway พร้อมให้ใช้งาน (ยกเว้นรีเจี้ยนในจีน) ดูข้อมูลเพิ่มเติมได้ที่คู่มือผู้ใช้ Amazon Bedrock AgentCore Gateway