Amazon SageMaker HyperPod รองรับ NVIDIA Multi-Instance GPU (MIG) สำหรับงาน AI ช่วยสร้าง
Amazon SageMaker HyperPod รองรับเทคโนโลยี NVIDIA Multi-Instance GPU (MIG) ซึ่งช่วยให้ผู้ดูแลระบบสามารถแบ่งพาร์ติชัน GPU เดียวออกเป็น GPU แยกหลายตัว ความสามารถนี้ช่วยให้ผู้ดูแลระบบสามารถใช้ทรัพยากรได้สูงสุดโดยการเรียกใช้งาน AI ช่วยสร้าง (GenAI) แบบสร้างขนาดเล็กที่หลากหลายพร้อมกันบนพาร์ติชัน GPU ในขณะที่ยังคงประสิทธิภาพและการแยกงานไว้
ผู้ดูแลระบบสามารถเลือกการตั้งค่าการกำหนดค่าที่ใช้งานง่ายบนคอนโซล SageMaker HyperPod หรือวิธีการตั้งค่าแบบกำหนดเองเพื่อเปิดใช้งานทรัพยากรที่ละเอียดและแยกจากฮาร์ดแวร์สำหรับความต้องการงานเฉพาะที่ไม่ต้องการความจุ GPU เต็มรูปแบบ พวกเขายังสามารถจัดสรรโควต้าคำนวณเพื่อให้แน่ใจว่าการกระจายพาร์ติชัน GPU อย่างยุติธรรมและมีประสิทธิภาพในแต่ละทีม ด้วยตัวชี้วัดประสิทธิภาพแบบเรียลไทม์และแดชบอร์ดตรวจสอบการใช้ทรัพยากรในพาร์ติชัน GPU ผู้ดูแลระบบจะสามารถมองเห็นได้เพื่อเพิ่มประสิทธิภาพการจัดสรรทรัพยากร ขณะนี้นักวิทยาศาสตร์ข้อมูลสามารถเร่งเวลาเข้าสู่ตลาดได้โดยการจัดตารางงานอนุมานที่มีน้ำหนักเบาและเรียกใช้โน๊ตบุ๊กแบบโต้ตอบแบบขนานบนพาร์ติชัน GPU ซึ่งช่วยลดระยะเวลาการรอเพื่อความพร้อมใช้งาน GPU เต็มรูปแบบ
ความสามารถนี้สามารถใช้ได้กับคลัสเตอร์ Amazon SageMaker HyperPod โดยใช้เครื่องมือควบคุมระบบ EKS ใน AWS Region ต่อไปนี้: สหรัฐอเมริกาฝั่งตะวันตก (ออริกอน), สหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียฝั่งเหนือ), สหรัฐอเมริกาฝั่งตะวันออก (โอไฮโอ), สหรัฐอเมริกาฝั่งตะวันตก (แคลิฟอร์เนียเหนือ), แคนาดา (ภาคกลาง), อเมริกาใต้ (เซาเปาลู), ยุโรป (สตอกโฮล์ม), ยุโรป (สเปน), ยุโรป (ไอร์แลนด์), ยุโรป (แฟรงก์เฟิร์ต), ยุโรป (ลอนดอน), เอเชียแปซิฟิก (มุมไบ), เอเชียแปซิฟิก (จาการ์ตา), เอเชียแปซิฟิก (เมลเบิร์น), เอเชียแปซิฟิก (โตเกียว), เอเชียแปซิฟิก (ซิดนีย์), เอเชียแปซิฟิก (โซล) และเอเชียแปซิฟิก (สิงคโปร์)
หากต้องการเรียนรู้เพิ่มเติม โปรดไปที่หน้าเว็บ SageMaker HyperPod และเอกสารประกอบ SageMaker HyperPod