ขอแนะนำการอนุมานที่ได้รับการปรับปรุงเวลาแฝงสำหรับโมเดลพื้นฐานใน Amazon Bedrock
ตอนนี้ การอนุมานที่ได้รับการปรับปรุงเวลาแฝงสำหรับโมเดลพื้นฐานใน Amazon Bedrock พร้อมให้ใช้งานแล้วในรูปแบบตัวอย่างสำหรับสาธารณะ ซึ่งให้เวลาการตอบสนองที่เร็วขึ้นและปรับปรุงการตอบสนองสำหรับแอปพลิเคชัน AI ปัจจุบัน ตัวเลือกการอนุมานใหม่เหล่านี้รองรับโมเดล Claude 3.5 Haiku ของ Anthropic และโมเดล Llama 3.1 405B และ 70B ของ Meta ซึ่งให้เวลาแฝงที่ลดลงเมื่อเทียบกับโมเดลมาตรฐานโดยไม่สูญเสียความถูกต้องแม่นยำ จากการตรวจสอบยืนยันโดย Anthropic เมื่อปรับใช้การอนุมานที่ได้รับการปรับปรุงเวลาแฝงบน Amazon Bedrock แล้ว Claude 3.5 Haiku จะทำงานบน AWS ได้เร็วกว่าบนผู้ให้บริการรายอื่นใด นอกจากนี้ ด้วยการอนุมานที่ได้รับการปรับปรุงเวลาแฝงใน Bedrock โมเดล Llama 3.1 405B และ 70B จะทำงานบน AWS ได้เร็วกว่าบนผู้ให้บริการระบบคลาวด์รายใหญ่รายอื่นใด
เมื่อลูกค้าย้ายแอปพลิเคชัน AI ช่วยสร้างไปสู่การใช้งานจริงกันมากขึ้น การเพิ่มประสิทธิภาพประสบการณ์ของผู้ใช้ปลายทางจึงมีความสำคัญมาก โดยเฉพาะอย่างยิ่งสำหรับแอปพลิเคชันที่ไวต่อเวลาแฝง เช่น แชทบอทบริการลูกค้าแบบเรียลไทม์และผู้ช่วยการเขียนโค้ดเชิงโต้ตอบ เมื่อใช้งานชิป AI ที่สร้างขึ้นมาตามวัตถุประสงค์ เช่น AWS Trainium2 และการเพิ่มประสิทธิภาพซอฟต์แวร์ขั้นสูงใน Amazon Bedrock ลูกค้าจะสามารถเข้าถึงตัวเลือกเพิ่มเติมเพื่อเพิ่มประสิทธิภาพการอนุมานสำหรับกรณีการใช้งานเฉพาะได้ การเข้าถึงความสามารถเหล่านี้ไม่จำเป็นต้องมีการตั้งค่าเพิ่มเติมหรือการปรับแต่งโมเดลแบบละเอียด ทำให้สามารถปรับปรุงแอปพลิเคชันที่มีอยู่ได้ทันทีด้วยเวลาการตอบสนองที่เร็วขึ้น
การอนุมานที่ได้รับการปรับปรุงเวลาแฝงสามารถใช้งานได้สำหรับ Claude 3.5 Haiku ของ Anthropic และ Llama 3.1 405B และ 70B ของ Meta ในรีเจี้ยนสหรัฐอเมริกาฝั่งตะวันออก (โอไฮโอ) ผ่านการอนุมานข้ามรีเจี้ยน หากต้องการเริ่มต้นใช้งาน โปรดไปที่คอนโซล Amazon Bedrock สำหรับข้อมูลเพิ่มเติมเกี่ยวกับ Amazon Bedrock และความสามารถ โปรดไปที่หน้าสินค้า Amazon Bedrock ค่าบริการ และเอกสารประกอบ