การจัดการแคชที่เรียบง่ายสำหรับโมเดล Claude ของ Anthropic ใน Amazon Bedrock
Amazon Bedrock ได้อัปเดตการแคชพร้อมท์สำหรับโมเดล Claude ของ Anthropic เพื่อปรับปรุงความสะดวกในการใช้งานสำหรับโมเดล Claude 3.5 Haiku, Claude 3.7 และ Claude 4
ก่อนหน้านี้นักพัฒนาจำเป็นต้องจัดการจุดแคชด้วยตนเอง และติดตามว่าควรนำส่วนที่แคชไว้ส่วนใดกลับมาใช้งานอีกครั้ง แต่ด้วยการจัดการแคชที่เรียบง่ายขึ้น คุณเพียงต้องตั้งค่าจุดเปลี่ยนแคชเมื่อสิ้นสุดคำขอของคุณเท่านั้น ระบบจะอ่านคำนำหน้าที่แคชที่ยาวที่สุดโดยอัตโนมัติ จึงไม่จำเป็นต้องระบุว่าส่วนใดต้องนำกลับมาใช้ใหม่ด้วยตนเอง และลดความยุ่งยากในการจัดการตรรกะแคช
ด้วยการระบุและใช้เนื้อหาที่แคชที่ถูกต้องโดยอัตโนมัติ การจัดการแคชที่เรียบง่ายนี้ไม่เพียงแต่ช่วยลดความยุ่งยากของการดำเนินงานด้วยตนเองเท่านั้น แต่ยังช่วยให้โทเค็นว่างมากขึ้น เนื่องจากโทเค็นการอ่านแคชจะไม่นับเป็นโควตาโทเค็นต่อนาที (TPM) ของคุณ ซึ่งทำให้การสร้างเวิร์กโฟลว์แบบหลายรอบและผู้ช่วยวิจัยเป็นเรื่องง่ายยิ่งขึ้น ทั้งยังช่วยปรับปรุงประสิทธิภาพและให้ความคุ้มค่าอีกด้วย
การจัดการแคชที่เรียบง่ายพร้อมให้บริการแล้ววันนี้ในทุกรีเจี้ยนที่เสนอโมเดล Anthropic Claude 3.5 Haiku, Claude 3.7 และ Claude 4 ให้ใน Amazon Bedrock หากต้องการเริ่มต้น ให้ตรวจสอบคู่มือนักพัฒนา Amazon Bedrock และเปิดใช้งานการแคชในการเรียกดำเนินการโมเดลของคุณ