Amazon SageMaker HyperPod รองรับ Spot Instance ตอนนี้
Amazon SageMaker HyperPod รองรับ Spot Instance ซึ่งช่วยให้ลูกค้าสามารถลดค่าใช้จ่ายในการคำนวณ GPU ได้ถึง 90% เมื่อเทียบกับ On-Demand Instance HyperPod เมื่อเวิร์กโหลด AI ปรับขนาด การเพิ่มประสิทธิภาพค่าใช้จ่ายโครงสร้างพื้นฐานจึงมีความสำคัญมากขึ้นเรื่อย ๆ การผสานรวม Spot ของ SageMaker HyperPod ช่วยแก้ปัญหานี้โดยช่วยให้ลูกค้าสามารถใช้ประโยชน์จากความจุ EC2 สำรองโดยอัตโนมัติด้วยส่วนลดที่สำคัญ ในขณะเดียวกันก็มอบประสบการณ์ AI ที่มีการจัดการที่ลูกค้าเพลิดเพลินบน HyperPod
ด้วย Spot Instance องค์กรสามารถเรียกใช้เวิร์กโหลดที่ทนต่อความผิดพลาดได้อย่างคุ้มค่าในระดับขนาดใหญ่ คุณสามารถรวม Spot กับ On-Demand Instance เพื่อปรับสมดุลการเพิ่มประสิทธิภาพค่าใช้จ่ายด้วยการรับประกันความพร้อมใช้งาน ฟีเจอร์นี้สามารถใช้ได้ในคลัสเตอร์ HyperPod EKS และผสานเข้ากับ Karpenter เพื่อการปรับขนาดอัตโนมัติอัจฉริยะ ค้นหาความจุของ Spot ที่มีอยู่โดยอัตโนมัติ และจัดการการหยุดชะงักของอินสแตนซ์
คุณสามารถเปิดใช้งาน Spot Instance เมื่อสร้างกลุ่มอินสแตนซ์ผ่าน CreateCluster API หรือ คอนโซล AWS ฟีเจอร์นี้รองรับทุกประเภทอินสแตนซ์ที่มีอยู่ใน HyperPod รวมถึง CPU และ GPU ความพร้อมใช้งานของกำลังการผลิตขึ้นอยู่กับอุปทานจาก EC2 และแตกต่างกันไปตามรีเจี้ยนและประเภทอินสแตนซ์ การสนับสนุน Spot Instance มีให้บริการในทุกรีเจี้ยนที่มี SageMaker HyperPod แล้วในขณะนี้ หากต้องการเรียนรู้เพิ่มเติม โปรดดูเอกสารประกอบ