Amazon Bedrock Advanced Prompt Optimization รองรับการย่อพร้อมท์แล้ว
ขณะนี้ Amazon Bedrock Advanced Prompt Optimization รองรับการย่อพร้อมท์ ซึ่งเป็นการตั้งค่าเสริมที่ช่วยลดความยาวของพร้อมท์ของคุณ ขณะเดียวกันก็ยังคงรักษาหรือปรับปรุงคะแนนการประเมิน Advanced Prompt Optimization เพิ่มประสิทธิภาพพร้อมท์สำหรับโมเดลใดๆ บน Amazon Bedrock โดยอิงตามเกณฑ์การประเมินของคุณเอง ก่อนหน้านี้ การเพิ่มประสิทธิภาพมุ่งเน้นเฉพาะด้านคุณภาพเท่านั้น พร้อมท์ที่ได้รับการเพิ่มประสิทธิภาพมักมีความยาวมากกว่าพร้อมท์ต้นฉบับ พร้อมท์ที่ยาวขึ้นจะเพิ่มค่าใช้จ่ายของโทเค็นอินพุต และอาจเพิ่มระยะเวลาจนถึงโทเค็นแรก ซึ่งมีความสำคัญเมื่อใช้งานในระดับขนาดใหญ่และในแอปพลิเคชันที่ต้องการเวลาแฝงต่ำ
เมื่อคุณเปิดใช้การย่อพร้อมท์สำหรับเทมเพลตพร้อมท์ในชุดข้อมูลอินพุตของคุณ เครื่องมือเพิ่มประสิทธิภาพจะลดความยาวของพร้อมท์ พร้อมท์ที่ได้รับการเพิ่มประสิทธิภาพจะถูกส่งกลับเฉพาะเมื่อสั้นกว่าพร้อมท์ต้นฉบับของคุณและได้คะแนนการประเมินอย่างน้อยเท่ากัน มิฉะนั้น ระบบจะส่งคืนพร้อมท์ต้นฉบับของคุณ ดังนั้นการตั้งค่านี้จะไม่ทำให้คุณได้พร้อมท์ที่ยาวขึ้นหรือมีคะแนนต่ำลง ผลลัพธ์ประกอบด้วยอัตราส่วนการบีบอัด และจำนวนโทเค็นของพร้อมท์ต้นฉบับและพร้อมท์ที่ได้รับการเพิ่มประสิทธิภาพ ทั้งในไฟล์เอาต์พุตและในหน้าผลลัพธ์บนคอนโซล ตัวอย่างเช่น อัตราส่วนการบีบอัด 0.7 หมายความว่าพร้อมท์ที่ได้รับการเพิ่มประสิทธิภาพใช้โทเค็นน้อยลง 30% การย่อพร้อมท์ทำงานร่วมกับวิธีการประเมินใดๆ ได้ รวมถึงเกณฑ์การควบคุม, รูบริกแบบ LLM-as-a-judge และตัวประเมิน Lambda แบบกำหนดเอง
การย่อพร้อมท์พร้อมให้ใช้งานใน AWS Region ทุกแห่งที่มี Advanced Prompt Optimization ให้บริการ ในการเริ่มต้นใช้งาน ให้เปิดใช้การย่อพร้อมท์สำหรับเทมเพลตพร้อมท์ในชุดข้อมูลอินพุตของคุณ แล้วสร้างงานการเพิ่มประสิทธิภาพตามปกติ ดูข้อมูลเพิ่มเติมได้ที่การย่อพร้อมท์ในคู่มือผู้ใช้ Amazon Bedrock, หน้าค่าบริการ Amazon Bedrock และหน้าผลิตภัณฑ์ Amazon Bedrock