การอนุมานของ Amazon SageMaker AI รองรับการแบ่งพาร์ติชัน GPU สำหรับตำแหน่งข้อมูลแบบเรียลไทม์แล้ว
ขณะนี้ การอนุมานของ Amazon SageMaker AI รองรับการแบ่งพาร์ติชัน GPU ซึ่งช่วยให้คุณสามารถเรียกใช้โมเดลหลายรายการบน GPU เดียว แทนที่จะต้องจัดสรรตัวเร่งทั้งตัวให้กับแต่ละโมเดล SageMaker AI ใช้เทคโนโลยี NVIDIA Multi-Instance GPU (MIG) เพื่อแบ่งพาร์ติชัน GPU ออกเป็นพาร์ติชันแยกจากกันได้สูงสุดเจ็ดพาร์ติชัน โดยแต่ละพาร์ติชันมีหน่วยความจำและทรัพยากรการประมวลผลของตนเอง ก่อนหน้านี้ ลูกค้าที่ให้บริการโมเดลขนาดเล็กและขนาดกลาง เช่น โมเดลที่ปรับแต่งเพิ่มเติมแล้ว โมเดลการฝัง ตัวจัดอันดับใหม่ และตัวจำแนกประเภท ต้องจัดสรรตัวเร่งทั้งตัวให้กับแต่ละโมเดล ทำให้อินสแตนซ์หนึ่งรายการไม่สามารถโฮสต์โมเดลได้มากกว่าจำนวน GPU ที่มี และต้องชำระค่าบริการสำหรับปริมาณการประมวลผลของ GPU ที่โมเดลเหล่านั้นไม่สามารถใช้ได้ทั้งหมด
ด้วยการแบ่งพาร์ติชัน GPU จะทำให้คุณสามารถเลือกวิธีแบ่งพาร์ติชัน GPU ที่อยู่เบื้องหลังตำแหน่งข้อมูลของคุณ และจัดวางแต่ละโมเดลลงในพาร์ติชันที่มีขนาดเหมาะสมกับโมเดลนั้น จากนั้นหลายโมเดลสามารถใช้ตัวเร่งเดียวกันร่วมกันได้โดยมีการแยกการทำงานที่บังคับใช้ด้วยฮาร์ดแวร์ ดังนั้นโมเดลที่มีการใช้งานสูงจะไม่สามารถใช้หน่วยความจำหรืออัตราการโอนถ่ายข้อมูลของโมเดลที่อยู่ข้างเคียงได้ การปรับขนาดตัวเร่งให้เหมาะสมกับเวิร์กโหลดยังช่วยให้สามารถใช้อินสแตนซ์รุ่นใหม่กว่า ซึ่งมิฉะนั้นอาจมีปริมาณการประมวลผลมากเกินกว่าที่โมเดลเดียวต้องการ คุณกำหนดค่าการแบ่งพาร์ติชัน GPU เมื่อสร้างตำแหน่งข้อมูลที่โฮสต์องค์ประกอบการอนุมาน และยังคงเรียกดำเนินการแต่ละโมเดลตามชื่อได้ ดังนั้นจึงไม่จำเป็นต้องเปลี่ยนโค้ดแอปพลิเคชันของคุณ
การแบ่งพาร์ติชัน GPU พร้อมให้ใช้งานบนอินสแตนซ์ P4d, P5, G7 และ G7e ในสหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียฝั่งเหนือ), สหรัฐอเมริกาฝั่งตะวันออก (โอไฮโอ), สหรัฐอเมริกาฝั่งตะวันตก (ออริกอน), เอเชียแปซิฟิก (สิงคโปร์), เอเชียแปซิฟิก (โตเกียว), ยุโรป (แฟรงก์เฟิร์ต) และยุโรป (ไอร์แลนด์) ดูข้อมูลเพิ่มเติมได้ที่หน้าการนำ Amazon SageMaker AI ไปใช้จริง และดูคู่มือนักพัฒนา Amazon SageMaker AI