Amazon SageMaker AI ประกาศเปิดตัวความพร้อมใช้งานของอินสแตนซ์ P5e และ G6e สำหรับการอนุมาน
เรายินดีที่จะประกาศความพร้อมใช้งานโดยทั่วไปของอินสแตนซ์ G6e แบบเพิ่มประสิทธิภาพการอนุมาน (ขับเคลื่อนโดย NVIDIA L40S Tensor Core GPU) และ P5e (ขับเคลื่อนโดย NVIDIA H200 Tensor Core GPU) บน Amazon SageMaker
หน่วยความจำ GPU แบนด์วิดท์สูง 1,128 GB ใน NVIDIA H200 GPU จำนวน 8 ตัว, ที่เก็บข้อมูล NVMe SSD ในเครื่องขนาด 30 TB, vCPU จำนวน 192 ตัว และหน่วยความจำระบบขนาด 2 TiB ทำให้อินสแตนซ์ ml.p5e.48xlarge สามารถมอบประสิทธิภาพที่ยอดเยี่ยมสำหรับเวิร์กโหลดการอนุมานของ AI ที่ต้องใช้การประมวลผลสูง เช่น โมเดลภาษาขนาดใหญ่ที่มีพารามิเตอร์มากกว่า 100B, โมเดลพื้นฐานหลายรูปแบบ, การสร้างข้อมูลสังเคราะห์ และแอปพลิเคชัน AI ช่วยสร้างที่ซับซ้อน รวมถึงการตอบคำถาม การสร้างโค้ด การสร้างวิดีโอ และการสร้างภาพ
การขับเคลื่อนโดย NVIDIA L40s Tensor Core GPU จำนวน 8 ตัว พร้อมหน่วยความจำ 48 GB ต่อ GPU และโปรเซสเซอร์ AMD EPYC รุ่นที่ 3 ทำให้อินสแตนซ์ ml.g6e สามารถมอบประสิทธิภาพได้ดีขึ้นถึง 2.5 เท่าเมื่อเทียบกับอินสแตนซ์ ml.g5 ลูกค้าสามารถใช้อินสแตนซ์ g6e เพื่อเรียกใช้การอนุมาน AI สำหรับโมเดลภาษาขนาดใหญ่ (LLM) ที่มีพารามิเตอร์สูงสุด 13B และโมเดลการแพร่กระจายต่าง ๆ เพื่อสร้างภาพ วิดีโอ และเสียงได้
อินสแตนซ์ ml.p5e และ ml.g6e พร้อมให้ใช้งานแล้วบน SageMaker ในสหรัฐอเมริกาฝั่งตะวันออก (โอไฮโอ) และสหรัฐอเมริกาฝั่งตะวันตก (ออริกอน) หากต้องการเริ่มต้นใช้งาน เพียงขอเพิ่มขีดจำกัดผ่านทาง AWS Service Quotas สำหรับข้อมูลค่าบริการเกี่ยวกับอินสแตนซ์เหล่านี้ โปรดไปที่หน้าค่าบริการของเรา สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการปรับใช้โมเดลด้วย SageMaker โปรดดูภาพรวมที่นี่ และเอกสารประกอบที่นี่ หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับอินสแตนซ์เหล่านี้โดยทั่วไป โปรดไปที่หน้าผลิตภัณฑ์ P5e และ G6e