Amazon Bedrock รองรับการอนุมานแบบแบทช์สำหรับโมเดล Anthropic Claude Sonnet 4 และ OpenAI GPT-OSS แล้วในตอนนี้
โมเดล Claude Sonnet 4 ของ Anthropic และ GPT-OSS 120B และ 20B ของ OpenAI พร้อมใช้งานสำหรับการอนุมานแบบแบทช์ใน Amazon Bedrock จากการอนุมานแบบแบทช์ คุณสามารถเรียกใช้คำขออนุมานหลายรายการแบบอะซิงโครนัส ปรับปรุงประสิทธิภาพของชุดข้อมูลขนาดใหญ่ที่ 50% ของค่าบริการสำหรับการอนุมานตามความต้องการได้ Amazon Bedrock นำเสนอโมเดลพื้นฐาน (FM) ที่คัดสรรจากผู้ให้บริการ AI ชั้นนำ เช่น Anthropic, OpenAI, Meta และ Amazon สำหรับการอนุมานแบบแบทช์ ทำให้การประมวลผลเวิร์กโหลดปริมาณมากง่ายขึ้นและคุ้มค่ามากขึ้น
ด้วยการอนุมานแบบแบทช์บนโมเดล Claude Sonnet 4 และ OpenAI GPT-OSS คุณสามารถประมวลผลชุดข้อมูลขนาดใหญ่สำหรับสถานการณ์ต่างๆ เช่น การวิเคราะห์เอกสารและข้อเสนอแนะของลูกค้า การสร้างเนื้อหาจำนวนมาก (เช่น สำเนาการตลาด คำอธิบายผลิตภัณฑ์) การประเมินพร้อมหรือเอาต์พุตขนาดใหญ่ การสรุปฐานความรู้และคลังเก็บข้อมูลโดยอัตโนมัติ การจัดหมวดหมู่ตั๋วสนับสนุนหรืออีเมลจำนวนมาก และการดึงข้อมูลที่มีโครงสร้างจากข้อความที่ไม่มีโครงสร้างได้ในทุกขนาด ด้วยต้นทุนที่ต่ำกว่า เราปรับข้อเสนอแบทช์ของเราให้เหมาะสมเพื่อให้อัตราการโอนถ่ายข้อมูลแบบแบทช์โดยรวมสูงขึ้นสำหรับโมเดลใหม่เหล่านี้เมื่อเทียบกับโมเดลก่อนหน้า นอกจากนี้คุณยังสามารถติดตามความคืบหน้าของเวิร์กโหลดแบบแบทช์ของคุณในระดับบัญชี AWS ด้วยตัวชี้วัด Amazon CloudWatch ได้ สำหรับทุกโมเดล ตัวชี้วัดเหล่านี้จะมีบันทึกที่รอดำเนินการทั้งหมด บันทึกที่ประมวลผลและโทเค็นต่อนาที และโมเดล Claude ทั้งยังรวมโทเค็นที่รอดำเนินการการประมวลผลเอาไว้ด้วย
หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการอนุมานแบทช์ใน Amazon Bedrock โปรดไปที่เอกสากประกอบการอนุมานแบบแบทช์ คุณสามารถดูรายละเอียดเพิ่มเติมเกี่ยวกับโมเดลที่รองรับได้ที่หน้ารีเจี้ยนที่รองรับและโมเดลสำหรับการอนุมานแบบแบทช์ และดำเนินการตามข้อมูลอ้างอิงของ Amazon Bedrock API เพื่อเริ่มต้นใช้งานการอนุมานแบบแบทช์