ขณะนี้ Amazon Bedrock Agents, Flows และ Knowledge Bases รองรับโมเดลที่ผ่านการปรับปรุงเวลาแฝงแล้ว
ขณะนี้ Amazon Bedrock Agents, Flows และ Knowledge Bases รองรับโมเดลตัวอย่างล่าสุดที่ผ่านการปรับปรุงเวลาแฝงผ่าน SDK แล้ว การปรับปรุงนี้ช่วยให้เวลาในการตอบสนองรวดเร็วยิ่งขึ้นและตอบสนองต่อแอปพลิเคชัน AI ที่สร้างจากเครื่องมือ Amazon Bedrock ได้ดียิ่งขึ้น ปัจจุบัน การเพิ่มประสิทธิภาพนี้พร้อมใช้งานสำหรับโมเดล Claude 3.5 Haiku ของ Anthropic และโมเดล Llama 3.1 405B และ 70B ของ Meta ซึ่งให้เวลาแฝงที่ลดลงเมื่อเทียบกับโมเดลมาตรฐานโดยไม่สูญเสียความถูกต้องแม่นยำ
การอัปเดตนี้เป็นประโยชน์อย่างยิ่งสำหรับลูกค้าที่พัฒนาแอปพลิเคชันที่ไวต่อเวลาแฝง เช่น Chatbot บริการลูกค้าแบบเรียลไทม์และผู้ช่วยเขียนโค้ดแบบโต้ตอบ ด้วยการใช้งานชิป AI ที่สร้างตามวัตถุประสงค์ เช่น AWS Trainium2 และการเพิ่มประสิทธิภาพซอฟต์แวร์ขั้นสูงใน Amazon Bedrock ขณะนี้ ลูกค้าสามารถเข้าถึงตัวเลือกเพิ่มเติมเพื่อเพิ่มประสิทธิภาพการอนุมานในแต่ละกรณีการใช้งานได้แล้ว ที่สำคัญ ความสามารถเหล่านี้สามารถผสานรวมเข้ากับแอปพลิเคชันที่มีอยู่ได้ทันทีโดยไม่ต้องตั้งค่าหรือปรับแต่งโมเดลเพิ่มเติม ส่งผลให้ประสิทธิภาพการทำงานเพิ่มขึ้นและเวลาในการตอบสนองรวดเร็วยิ่งขึ้น
การรองรับการอนุมานที่ผ่านการปรับปรุงเวลาแฝงสำหรับ Amazon Bedrock Agents, Flows และ Knowledge Bases พร้อมใช้งานในรีเจี้ยนสหรัฐอเมริกาฝั่งตะวันออก (โอไฮโอ) ผ่านการอนุมานข้ามรีเจี้ยนแล้ว ลูกค้าสามารถเข้าถึงความสามารถใหม่ ๆ เหล่านี้ได้ผ่าน Amazon Bedrock SDK โดยใช้การกำหนดค่ารันไทม์ ช่วยให้สามารถผสานรวมโมเดลที่ผ่านการเพิ่มประสิทธิภาพเหล่านี้ไว้ในเวิร์กโฟลว์และแอปพลิเคชันของตนผ่านทางโปรแกรม
หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ Amazon Bedrock และความสามารถที่มี รวมถึงการรองรับการอนุมานที่ผ่านการปรับปรุงเวลาแฝงใหม่นี้ โปรดไปที่หน้าผลิตภัณฑ์ หน้าค่าบริการ และเอกสารประกอบเกี่ยวกับ Amazon Bedrock