Amazon Bedrock ประกาศการแคชพร้อมท์ในรูปแบบตัวอย่างแล้ว
ในวันนี้ AWS ออกประกาศว่า Amazon Bedrock รองรับการแคชพร้อมท์แล้ว การแคชพร้อมท์เป็นความสามารถใหม่ที่สามารถลดค่าใช้จ่ายได้ถึง 90% และลดเวลาแฝงได้ถึง 85% สำหรับโมเดลที่รองรับ โดยการแคชพร้อมท์ที่ใช้บ่อยในการเรียกใช้ API หลายครั้ง ทำให้คุณสามารถแคชอินพุตที่ทำซ้ำ ๆ และหลีกเลี่ยงบริบทการประมวลผลซ้ำ เช่น พร้อมท์ของระบบที่ยาวและตัวอย่างทั่วไปที่ช่วยแนะนำการตอบสนองของโมเดล เมื่อมีการใช้แคช จำเป็นต้องใช้ทรัพยากรการประมวลผลน้อยลงเพื่อสร้างเอาต์พุต ด้วยเหตุนี้ เราไม่เพียงแต่สามารถประมวลผลคำขอของคุณได้เร็วขึ้นเท่านั้น แต่เรายังสามารถส่งต่อการประหยัดค่าใช้จ่ายจากการใช้ทรัพยากรน้อยลงได้ด้วย
Amazon Bedrock เป็นบริการที่มีการจัดการเต็มรูปแบบ ซึ่งนำเสนอตัวเลือก FM ที่มีประสิทธิภาพสูงจากบริษัท AI ชั้นนำผ่าน API เดียว นอกจากนี้ Amazon Bedrock ยังมอบชุดความสามารถอันหลากหลายที่ลูกค้าจำเป็นต้องใช้ในการสร้างแอปพลิเคชัน AI ช่วยสร้าง ซึ่งมาพร้อมการรักษาความปลอดภัย ความเป็นส่วนตัว และ AI ที่มีความรับผิดชอบ ความสามารถเหล่านี้ช่วยให้คุณสร้างแอปพลิเคชันที่ปรับแต่งมาให้เหมาะกับกรณีการใช้งานหลายกรณีในอุตสาหกรรมต่าง ๆ ช่วยให้องค์กรประสบผลสำเร็จในการเติบโตอย่างยั่งยืนจาก AI ช่วยสร้าง ในขณะเดียวกันก็ให้เครื่องมือในการสร้างความไว้วางใจของลูกค้าและในการกำกับดูแลข้อมูล
การแคชพร้อมท์พร้อมให้บริการบน Claude 3.5 Haiku และ Claude 3.5 Sonnet v2 ในสหรัฐอเมริกาฝั่งตะวันตก (ออริกอน) และสหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียฝั่งเหนือ) ผ่านการอนุมานข้ามรีเจี้ยน และบนโมเดล Nova Micro, Nova Lite และ Nova Pro ในสหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียฝั่งเหนือ) ในวันที่เปิดตัว จะมีลูกค้าเพียงจำนวนหนึ่งเท่านั้นที่จะสามารถเข้าถึงฟีเจอร์นี้ได้ ดูหน้านี้ เพื่อเรียนรู้เพิ่มเติมเกี่ยวกับการเข้าร่วมในตัวอย่าง ดูเอกสารประกอบและบล็อกของเรา เพื่อเรียนรู้เพิ่มเติมเกี่ยวกับการแคชพร้อมท์