ขณะนี้ Amazon SageMaker HyperPod รองรับการปรับขนาดอัตโนมัติโดยใช้ Karpenter แล้ว
ขณะนี้ Amazon SageMaker HyperPod รองรับการปรับขนาดอัตโนมัติของโหนดที่มีการจัดการโดยใช้ Karpenter ทำให้ลูกค้าสามารถปรับขนาดคลัสเตอร์ของตนได้โดยอัตโนมัติเพื่อตอบสนองความต้องการด้านการอนุมานและการฝึกอบรมแบบไดนามิก เวิร์กโหลดการอนุมานแบบเรียลไทม์จะต้องมีการปรับขนาดอัตโนมัติเพื่อแก้ไขรูปแบบการรับส่งข้อมูลที่คาดเดาไม่ได้ และรักษาข้อตกลงระดับการให้บริการ พร้อมทั้งควบคุมต้นทุน อย่างไรก็ตาม หลายองค์กรเผชิญกับภาระในการติดตั้ง กำหนดค่า และบำรุงรักษาโซลูชันการปรับขนาดอัตโนมัติที่ซับซ้อน การปรับขนาดโหนดอัตโนมัติที่จัดการโดย HyperPod จะช่วยขจัดงานที่ซ้ำซ้อนในการตั้งค่าและดูแล Karpenter พร้อมมอบความสามารถด้านความทนทานและ Fault Tolerance ในตัว
การปรับขนาดอัตโนมัติบน HyperPod ด้วย Karpenter ช่วยให้ลูกค้าสามารถจัดสรรทรัพยากรได้ในเวลาที่เหมาะสม เพื่อปรับ GPU ให้เหมาะสมกับการเพิ่มขึ้นของการรับส่งข้อมูลการอนุมานได้อย่างรวดเร็ว ลูกค้าสามารถปรับขนาดลงให้เหลือศูนย์โหนดในช่วงที่ความต้องการต่ำ โดยไม่ต้องดูแลโครงสร้างพื้นฐานเฉพาะของคอนโทรลเลอร์ และยังได้รับประโยชน์จากการเลือกโหนดตามลักษณะเวิร์กโหลดที่ช่วยเพิ่มประสิทธิภาพของประเภทอินสแตนซ์และต้นทุน เมื่อใช้เวิร์กโหลดการอนุมานนี้ จะช่วยให้สามารถปรับขนาดความจุอัตโนมัติเพื่อรองรับการรับส่งข้อมูลการผลิตที่พุ่งสูง ลดต้นทุนด้วยการรวมโหนดอย่างชาญฉลาดในช่วงที่ไม่ได้ใช้งาน และผสานการทำงานอย่างราบรื่นกับตัวปรับขนาดพ็อดอัตโนมัติที่ขับเคลื่อนด้วยเหตุการณ์ (EDA) อย่าง KEDA เวิร์กโหลดการฝึกอบรมยังได้รับประโยชน์จากการเพิ่มประสิทธิภาพทรัพยากรอัตโนมัติในระหว่างรอบการพัฒนาโมเดล คุณสามารถเปิดใช้งานการปรับขนาดอัตโนมัติบน HyperPod โดยใช้ UpdateCluster API ด้วยโหมด AutoScaling ที่ตั้งค่าเป็น “เปิดใช้งาน” และ AutoScalerType ตั้งเป็น “Karpenter”
ฟีเจอร์นี้มีให้บริการใน AWS Region ทุกแห่งที่รองรับคลัสเตอร์ Amazon SageMaker HyperPod EKS หากต้องการดูข้อมูลเพิ่มเติมเกี่ยวกับการปรับขนาดอัตโนมัติบน SageMaker HyperPod ด้วย Karpenter โปรดดูคู่มือผู้ใช้และบล็อก