การประเมินผลของ Amazon Bedrock AgentCore พร้อมใช้งานทั่วไปแล้ว
ขณะนี้ การประเมินผลของ Amazon Bedrock AgentCore พร้อมใช้งานทั่วไปแล้ว โดยให้การประเมินคุณภาพแบบที่ทำให้เป็นระบบอัตโนมัติสำหรับ AI Agent Evaluations ช่วยให้นักพัฒนาสามารถติดตามตรวจสอบคุณภาพของ Agent ผ่านการประเมินอย่างต่อเนื่องของการรับส่งข้อมูลในระบบจริง ตรวจสอบความถูกต้องของการเปลี่ยนแปลงผ่านเวิร์กโฟลว์การทดสอบ และวัดประสิทธิภาพของ Agent เทียบกับเกณฑ์ที่กำหนดไว้ AgentCore Evaluations มีการประเมินสองประเภท การประเมินแบบออนไลน์จะติดตามประสิทธิภาพของ Agent อย่างต่อเนื่องในระบบจริง โดยการสุ่มและให้คะแนนจากเทรซที่เกิดขึ้นจริง การประเมินแบบ on-demand ช่วยให้ทีมสามารถทดสอบ Agent แบบเป็นโปรแกรม รองรับการทดสอบรีเกรสชันในไปปไลน์ CI/CD และเวิร์กโฟลว์การพัฒนาแบบโต้ตอบ
ทีมสามารถประเมิน Agent ได้โดยใช้ตัวประเมินแบบในตัวที่มีมาให้ 13 แบบ ซึ่งครอบคลุมด้านคุณภาพของการตอบสนอง ความปลอดภัย ความสำเร็จของงาน และการใช้งานเครื่องมือ นักพัฒนายังสามารถใช้ Ground Truth เพื่อวัดประสิทธิภาพของ Agent เทียบกับสิ่งที่คาดหวัง รวมถึงคำตอบอ้างอิงสำหรับการตรวจสอบการตอบสนอง การยืนยันพฤติกรรมสำหรับเป้าหมายระดับเซสชัน และลำดับการทำงานของเครื่องมือที่คาดไว้ สำหรับความต้องการเฉพาะด้าน ทีมสามารถกำหนดตัวประเมินแบบกำหนดเองได้ โดยใช้พร้อมท์และโมเดลที่ต้องการสำหรับการประเมินด้วย LLM หรือสร้างตรรกะแบบกำหนดเองใน Python หรือ JavaScript ผ่านฟังก์ชันที่โฮสต์บน Lambda สำหรับการประเมินแบบใช้โค้ด Evaluations ผสานรวมกับ AgentCore Observability เพื่อการติดตามแบบรวมศูนย์และการแจ้งเตือนแบบเรียลไทม์
AgentCore Evaluations พร้อมให้ใช้งานแล้วใน AWS Region เก้าแห่ง ได้แก่ สหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียฝั่งเหนือ), สหรัฐอเมริกาฝั่งตะวันออก (โอไฮโอ), สหรัฐอเมริกาฝั่งตะวันตก (ออริกอน), เอเชียแปซิฟิก (มุมไบ), เอเชียแปซิฟิก (สิงคโปร์), เอเชียแปซิฟิก (ซิดนีย์), เอเชียแปซิฟิก (โตเกียว), ยุโรป (แฟรงก์เฟิร์ต) และยุโรป (ไอร์แลนด์)
หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการประเมินผลของ Amazon Bedrock AgentCore โปรดดูที่ เอกสารประกอบ และเริ่มต้นใช้งานด้วย AgentCore Starter Toolkit