Amazon SageMaker HyperPod รองรับอินสแตนซ์ G7e และ r5d.16xlarge แล้ว
Amazon SageMaker HyperPod รองรับอินสแตนซ์ G7e และ r5d.16xlarge แล้ว SageMaker HyperPod เป็นโครงสร้างพื้นฐานที่สร้างขึ้นเพื่อใช้สำหรับการพัฒนา ฝึก และปรับใช้โมเดลพื้นฐานในวงกว้าง โดยมีสภาพแวดล้อมที่ยืดหยุ่นและมีประสิทธิภาพพร้อม Fault Tolerance ในตัว การกู้คืนคลัสเตอร์อัตโนมัติ และไลบรารีการฝึกแบบกระจายที่เหมาะสม ซึ่งช่วยลดภาระงานหนักที่ต้องดำเนินการซ้ำๆ ในการจัดการโครงสร้างพื้นฐาน AI/ML ขนาดใหญ่
อินสแตนซ์ G7e ขับเคลื่อนโดย NVIDIA RTX PRO 6000 Blackwell Server Edition GPU และให้ประสิทธิภาพการอนุมานที่ดีกว่าอินสแตนซ์ G6e ถึง 2.3 เท่า ทำให้คุณสามารถประมวลผลคำขอต่อวินาทีได้มากขึ้นพร้อมลดเวลาแฝง ด้วยหน่วยความจำ GPU รวมสูงสุด 768 GB อินสแตนซ์ G7e ช่วยให้คุณปรับใช้โมเดลภาษาขนาดใหญ่ขึ้นหรือเรียกใช้หลายโมเดลบนตำแหน่งข้อมูลเดียวได้ คุณสามารถใช้อินสแตนซ์เหล่านี้สำหรับการปรับใช้ LLM, Agentic AI, AI ช่วยสร้างหลายรูปแบบ และโมเดล AI ทางกายภาพ อินสแตนซ์ G7e ยังเหมาะอย่างยิ่งสำหรับการปรับแต่งโหนดเดี่ยวที่ประหยัดค่าใช้จ่ายหรือการฝึก NLP, คอมพิวเตอร์วิชัน และโมเดล AI ช่วยสร้างขนาดเล็ก โดยมี TFLOP สูงถึง 1.27 เท่า และแบนด์วิดท์ GPU ถึง GPU มากกว่าถึง 4 เท่าเมื่อเทียบกับ G6e นอกจากนี้ HyperPod ยังรองรับ r5d.16xlarge เช่นกัน อินสแตนซ์ r5d.16xlarge มี 64 vCPU, หน่วยความจำ 512 GB และพื้นที่จัดเก็บอินสแตนซ์ NVMe SSD ขนาด 5 x 600 GB ซึ่งขับเคลื่อนโดยโปรเซสเซอร์ซีรีส์ Intel Xeon Platinum 8000 พร้อมความถี่เทอร์โบแบบออลคอร์ที่คงที่สูงสุดถึง 3.1 GHz อินสแตนซ์นี้เหมาะอย่างยิ่งสำหรับการประมวลผลข้อมูลการฝึกแบบกระจาย โดยเฉพาะอย่างยิ่งกับเฟรมเวิร์ก เช่น Ray, กระบวนการสร้างฟีเจอร์ใหม่ขนาดใหญ่ และการเรียกใช้บริการควบคุมระบบที่ใช้หน่วยความจำเยอะพร้อมกับการคำนวณ GPU
อินสแตนซ์ G7e มีให้บริการในสหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียฝั่งเหนือ), สหรัฐอเมริกาฝั่งตะวันออก (โอไฮโอ), เอเชียแปซิฟิก (โตเกียว) และสหรัฐอเมริกาฝั่งตะวันตก (ออริกอน) และ r5d.16xlarge มีให้บริการในทุก Region ที่ให้บริการ Amazon SageMaker HyperPod