การแคชพร้อมท์ Amazon Bedrock
ภาพรวม
กรณีการใช้งานโมเดลพื้นฐาน (FM) จำนวนมากจะนำพร้อมท์ (คำนำหน้า) บางส่วนมาใช้ซ้ำในระหว่างการเรียกใช้ API ด้วยการแคชพร้อมท์ โมเดลที่รองรับจะให้คุณแคชคำนำหน้าพร้อมท์ที่ซ้ำกันเหล่านี้ระหว่างการร้องขอได้ แคชนี้จะช่วยให้โมเดลข้ามการประมวลผลซ้ำของคำนำหน้าที่ตรงกัน ผลลัพธ์คือ การแคชพร้อมท์ใน Amazon Bedrock สามารถลดต้นทุนได้มากถึง 90% และลดเวลาแฝงได้มากถึง 85% สำหรับโมเดลที่รองรับ
ปรับปรุงประสิทธิภาพสำหรับการใช้งานหลายกรณี
แอปพลิเคชันหลายตัวต้องการหรือได้รับประโยชน์จากพร้อมท์ที่ยาว เช่น คำถามและคำตอบเกี่ยวกับเอกสาร ตัวช่วยเขียนโค้ด การค้นหาของเจ้าหน้าที่ หรือการแชทแบบยาว แม้แต่กับโมเดลพื้นฐานที่ชาญฉลาดที่สุด คุณก็ยังต้องใช้พร้อมท์ที่ครอบคลุมพร้อมคำแนะนำโดยละเอียดพร้อมตัวอย่างหลายช็อตเพื่อให้ได้ผลลัพธ์ที่ถูกต้องสำหรับกรณีการใช้งานของคุณ อย่างไรก็ตาม พร้อมท์ที่ยาวซึ่งนำมาใช้ซ้ำในระหว่างการเรียกใช้ API อาจทำให้ค่าเวลาแฝงเฉลี่ยเพิ่มขึ้น ด้วยการแคชพร้อมท์ สถานะของโมเดลภายในไม่จำเป็นต้องถูกประมวลผลใหม่ ถ้าคำนำหน้าพร้อมท์ถูกแคชไว้แล้ว ซึ่งจะช่วยประหยัดเวลาในการประมวลผลส่งผลให้เกิดเวลาแฝงในการตอบสนองลดลง

ลดต้นทุนที่เกี่ยวข้องกับพร้อมท์ที่ยาวนานและซ้ำ
ด้วยการแคชพร้อมท์ คุณสามารถแคชส่วนที่เกี่ยวข้องของพร้อมท์ของคุณเพื่อประหยัดค่าใช้จ่ายโทเค็นอินพุต แคชของคุณเป็นข้อมูลเฉพาะสำหรับบัญชีของคุณและประกอบด้วยสถานะของโมเดลภายในที่แสดงถึงพร้อมท์ของคุณ เนื่องจากโมเดลสามารถข้ามการประมวลผลใหม่สำหรับคำนำหน้าที่แคชได้ ทรัพยากรการประมวลผลที่จำเป็นในการประมวลผลคำขอของคุณจะลดลง เป็นผลให้ค่าใช้จ่ายของคุณลดลง
ผสานรวมเข้ากับฟีเจอร์ Amazon Bedrock อื่น ๆ ได้อย่างราบรื่น
การแคชพร้อมท์จะรวมเข้ากับฟีเจอร์ Amazon Bedrock เช่น เอเจนต์ ช่วยให้คุณเร่งงานหลายขั้นตอนได้ และยังใช้ประโยชน์จากพร้อมท์ระบบที่ยาวขึ้นเพื่อช่วยปรับแต่งพฤติกรรมของเอเจนต์โดยไม่ทำให้การตอบสนองของคุณช้าลง