AWS ประกาศเปิดตัว aws-bench ซึ่งเป็นเกณฑ์มาตรฐานแบบโอเพนซอร์สสำหรับ AI Agent บน AWS
วันนี้ AWS ประกาศเปิดตัวตัวอย่างงานวิจัยของ aws-bench ซึ่งเป็นเกณฑ์มาตรฐานแบบโอเพนซอร์สที่ใช้วัดความถูกต้องและประสิทธิภาพในการทำงานของ AI Agent ในการดำเนินงานจริงบน AWS ผู้ให้บริการโมเดลและนักวิจัยด้าน AI ที่พัฒนา Agent สำหรับทำงานบนโครงสร้างพื้นฐานของ AWS จำเป็นต้องมีวิธีการที่เป็นกลางและทำซ้ำได้ในการวัดประสิทธิภาพและวิเคราะห์ความล้มเหลว โดย aws-bench มีชุดกรณีทดสอบสาธารณะที่พัฒนาจากการวิเคราะห์การใช้งาน AWS จริง ซึ่งครอบคลุมงานด้านการตรวจสอบ การแก้ไขปัญหา และการสร้างโครงสร้างพื้นฐาน
แต่ละกรณีทดสอบจะจับคู่คำสั่งที่เป็นภาษาธรรมชาติกับสถานะทรัพยากรระบบคลาวด์ที่กำหนดไว้และคำตอบอ้างอิงที่ถูกต้อง เพื่อให้คุณสามารถให้คะแนน Agent หรือโมเดลใด ๆ ได้บนพื้นฐานที่สอดคล้องและตรวจสอบได้ นักวิจัยและผู้ให้บริการโมเดลสามารถใช้ aws-bench เพื่อปรับปรุงประสิทธิภาพของโมเดลพื้นฐานสำหรับงานบน AWS ปรับปรุง Agent Harness และติดตามความก้าวหน้าของการปรับปรุงได้ รุ่นนี้มาพร้อมกับเครื่องมือ CLI ที่ใช้งานง่ายสำหรับสร้างสภาพแวดล้อมการทดสอบ ดำเนินการและให้คะแนนการประเมินผล รวมถึงรีเซ็ตสถานะของทรัพยากร
ขณะนี้ aws-bench พร้อมให้ใช้งานแล้วบน GitHub ในการเริ่มต้นใช้งาน ให้ทำตามคำแนะนำในการตั้งค่าในไฟล์ README