AWS Neuron ประกาศเปิดตัวการรองรับ Dynamic Resource Allocation ร่วมกับ Amazon EKS
AWS ประกาศเปิดตัวไดรเวอร์ Neuron Dynamic Resource Allocation (DRA) สำหรับ Amazon Elastic Kubernetes Service (EKS) ซึ่งนำการจัดตารางงานแบบรับรู้ฮาร์ดแวร์ที่เป็นเนทีฟของ Kubernetes มาสู่อินสแตนซ์ที่ใช้ AWS Trainium ไดรเวอร์ Neuron DRA เผยแพร่แอตทริบิวต์ของอุปกรณ์แบบละเอียดไปยังตัวกำหนดเวลา Kubernetes โดยตรง ซึ่งทำให้สามารถตัดสินใจจัดวางแบบคำนึงถึงโทโพโลยีได้โดยไม่ต้องใช้ส่วนขยายตัวกำหนดเวลาแบบกำหนดเอง
การติดตั้งใช้งานเวิร์กโหลด AI บน Kubernetes จำเป็นต้องให้วิศวกร ML ตัดสินใจด้านโครงสร้างพื้นฐานที่ไม่เกี่ยวข้องโดยตรงกับการพัฒนาโมเดล เช่น การกำหนดจำนวนอุปกรณ์ การทำความเข้าใจโทโพโลยีของฮาร์ดแวร์และเครือข่าย และการเขียน Manifest ที่เฉพาะเจาะจงกับตัวเร่ง สิ่งนี้ก่อให้เกิดความซับซ้อน ทำให้รอบการวนซ้ำช้าลง และทำให้เวิร์กโหลดผูกติดกับโครงสร้างพื้นฐานที่อยู่เบื้องหลังอย่างแน่นหนา เมื่อกรณีการใช้งานขยายไปสู่การฝึกแบบกระจาย การอนุมานแบบบริบทยาว และสถาปัตยกรรมแบบแยกส่วน ความซับซ้อนนี้จะกลายเป็นคอขวดในการปรับขนาด
ไดรเวอร์ Neuron DRA ช่วยลดภาระนี้โดยแยกประเด็นด้านโครงสร้างพื้นฐานออกจากเวิร์กโฟลว์ ML ทีมโครงสร้างพื้นฐานสามารถกำหนด ResourceClaimTemplates ที่นำกลับมาใช้ซ้ำได้ ซึ่งครอบคลุมโทโพโลยีของอุปกรณ์ การจัดสรร และนโยบายระบบเครือข่าย วิศวกร ML สามารถอ้างอิงเทมเพลตเหล่านี้ใน Manifest ได้โดยไม่จำเป็นต้องพิจารณารายละเอียดของฮาร์ดแวร์ ซึ่งช่วยให้สามารถติดตั้งใช้งานได้อย่างสม่ำเสมอในทุกประเภทเวิร์กโหลด พร้อมทั้งรองรับการกำหนดค่ารายเวิร์กโหลด เพื่อให้หลายเวิร์กโหลดสามารถใช้โหนดเดียวกันได้อย่างมีประสิทธิภาพ
ไดรเวอร์ Neuron DRA รองรับอินสแตนซ์ AWS Trainium ทุกประเภท และพร้อมใช้งานใน AWS Region ทุกแห่งที่ AWS Trainium ให้บริการ
สำหรับเอกสารประกอบ เทมเพลตตัวอย่าง และคู่มือการติดตั้งใช้งาน โปรดไปที่เอกสารประกอบ Neuron DRA
เรียนรู้เพิ่มเติม: