Amazon SageMaker Clarify สนับสนุนการประเมินแบบจำลองมูลนิธิตอนนี้
การประเมินแบบจำลองมูลนิธิด้วย SageMaker Clarify สามารถใช้ได้โดยทั่วไปแล้ว ความสามารถนี้ช่วยให้นักวิทยาศาสตร์ข้อมูลและวิศวกรการเรียนรู้ของเครื่องประเมิน เปรียบเทียบ และเลือกแบบจำลองพื้นฐานตามเกณฑ์ที่หลากหลายในงานต่างๆ ภายในไม่กี่นาที
ลูกค้า SageMaker เลือกโมเดลพื้นฐานหลายร้อยรุ่นเพื่อขับเคลื่อนแอปพลิเคชัน AI แบบสร้างสรรค์ พวกเขาประเมินและเปรียบเทียบโมเดลเหล่านี้ในระหว่างการเลือกโมเดลและการปรับแต่งโมเดลเพื่อกำหนดความเหมาะสมที่เหมาะสมที่สุดสำหรับกรณีใช้งาน กระบวนการนี้อาจใช้เวลาหลายวันในการระบุเกณฑ์มาตรฐานที่เกี่ยวข้อง กำหนดค่าเครื่องมือประเมินผล และการประเมินผลในแต่ละรุ่น ผลลัพธ์ที่ได้มักจะท้าทายที่จะนำไปใช้กับกรณีการใช้งานเฉพาะ
SageMaker Clarify นำเสนอการประเมินอัตโนมัติและมนุษย์พร้อมผลลัพธ์ที่ตีความได้ ลูกค้าสามารถใช้ความสามารถใหม่นี้ใน Amazon SageMaker Studio เพื่อประเมิน LLM ที่โฮสต์โดย SageMaker หรือใช้ f meval เพื่อประเมิน LLM ใด ๆ เริ่มต้นด้วยการใช้ชุดข้อมูลแบบพรอมต์ที่คัดสรรมาสำหรับงานต่างๆ เช่น การสร้างข้อความ สรุป การตอบคำถาม และการจำแนกประเภท ปรับแต่งพารามิเตอร์การอนุมานและเทมเพลตพรอมต์และเปรียบเทียบผลลัพธ์ของการตั้งค่าโมเดลต่างๆ ขยายการประเมินด้วยชุดข้อมูลพรอมต์และเมตริกที่กำหนดเอง การประเมินจากมนุษย์ช่วยให้ลูกค้าสามารถประเมินแง่มุมที่เป็นส่วนตัวมากขึ้น เช่น ความคิดสร้างสรรค์และสไตล์ หลังจากการประเมินแต่ละครั้ง ลูกค้าจะได้รับรายงานที่ครอบคลุม พร้อมด้วยภาพและตัวอย่าง และรวมเข้ากับเวิร์กโฟลว์ของ SageMaker ML
ความสามารถนี้สามารถใช้ได้ในทุกภูมิภาค AWS ยกเว้นภูมิภาค AWS GovCloud (สหรัฐอเมริกา), ภูมิภาคจีน, เอเชียแปซิฟิก (ไฮเดอราบัด), เอเชียแปซิฟิก (เมลเบิร์น), แคนาดาตะวันตก (คาลการี), ยุโรป (ซูริค), ยุโรป (สตอกโฮล์ม), อิสราเอล (เทลอาวีฟ), ตะวันออกกลาง (UAE)
สำหรับรายละเอียดเพิ่มเติม โปรดดู หน้าผลิตภัณฑ์ เอกสาร ประก อบ และ หน้าราคา