Amazon SageMaker HyperPod รองรับฉลากและคำสั่งสำหรับนำพ็อดออก Kubernetes ที่กำหนดเอง
Amazon SageMaker HyperPod รองรับฉลากและคำสั่งสำหรับนำพ็อดออก Kubernetes ที่กำหนดเอง ทำให้ลูกค้าสามารถควบคุมการจัดตารางพ็อดและผสานรวมเข้ากับโครงสร้างพื้นฐาน Kubernetes ที่มีอยู่ได้อย่างราบรื่น ลูกค้าที่ติดตั้งใช้งานเวิร์กโหลด AI บนคลัสเตอร์ HyperPod หรือที่ติดตั้งด้วย EKS ต้องการการควบคุมตำแหน่งเวิร์กโหลดที่แม่นยำเพื่อป้องกันไม่ให้ทรัพยากร GPU ราคาแพงถูกใช้โดยพ็อดระบบและเวิร์กโหลดที่ไม่ใช่ AI ในขณะที่รับประกันความเข้ากันได้กับปลั๊กอินอุปกรณ์ที่กำหนดเอง เช่น EFA และตัวดำเนินการ NVIDIA GPU ก่อนหน้านี้ ลูกค้าต้องใช้ฉลากและคำสั่งสำหรับนำพ็อดออกด้วยตนเองโดยใช้ kubectl และนำไปใช้ใหม่หลังจากการเปลี่ยนโหนด การปรับขนาด หรือการแก้ไขทุกครั้งทำให้เกิดค่าใช้จ่ายในการดำเนินงานที่สำคัญ
ความสามารถนี้ช่วยให้คุณสามารถกำหนดค่าป้ายกำกับและคำสั่งสำหรับนำพ็อดออกในระดับกลุ่มอินสแตนซ์ผ่าน API CreateCluster และ UpdateCluster ซึ่งให้วิธีการจัดการในการกำหนดและรักษานโยบายการจัดตารางเวลาตลอดวงจรชีวิตโหนดทั้งหมด การใช้พารามิเตอร์ KubernetesConfig ใหม่คุณสามารถระบุป้ายกำกับได้สูงสุด 50 ฉลากและ 50 คำสั่งสำหรับนำพ็อดออกของกลุ่มอินสแตนซ์ ป้ายกำกับช่วยให้การจัดระเบียบทรัพยากรและการกำหนดเป้าหมายพ็อดผ่านตัวเลือกโหนด ในขณะที่คำสั่งสำหรับนำพ็อดออกจะนำพ็อดออกโดยไม่ต้องจับคู่ความคลาดเคลื่อนเพื่อปกป้องโหนดเฉพาะ ตัวอย่างเช่น คุณสามารถใช้คำสั่งสำหรับนำพ็อดออก NoSchedule กับกลุ่มอินสแตนซ์ GPU เพื่อให้แน่ใจว่าเฉพาะงานการฝึก AI ที่มีการยอมรับอย่างชัดเจนจะใช้ทรัพยากรการคำนวณที่มีค่าใช้จ่ายสูง หรือเพิ่มป้ายกำกับที่กำหนดเองที่ช่วยให้พ็อดปลั๊กอินอุปกรณ์กำหนดเวลาได้อย่างถูกต้อง HyperPod จะใช้การกำหนดค่าเหล่านี้โดยอัตโนมัติในระหว่างการสร้างโหนดและบำรุงรักษาไว้ตลอดการดำเนินการทดแทน การปรับขนาด และการแพทช์ ลดการแทรกแซงด้วยตนเองและลดค่าใช้จ่ายในการดำเนินงาน
ฟีเจอร์นี้พร้อมใช้งานใน AWS Region ทุกแห่งที่รองรับ Amazon SageMaker HyperPod หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับป้ายกำกับและคำสั่งสำหรับนำพ็อดออกที่กำหนดเอง โปรดดู คู่มือผู้ใช้