SageMaker HyperPod รองรับ Topology Aware Scheduling ของงาน LLM แล้ว
ขณะนี้ การกำกับดูแล Task ของ SageMaker HyperPod รองรับ Topology Aware Scheduling (TAS) แล้ว ทำให้นักวิทยาศาสตร์ข้อมูลสามารถจัดกำหนดการงานโมเดลภาษาขนาดใหญ่ (LLM) บนโทโพโลยีเครือข่ายที่เหมาะสมที่สุด ซึ่งช่วยลดการสื่อสารทางเครือข่ายและเพิ่มประสิทธิภาพการฝึก
งานการฝึก LLM และการปรับแต่ง ซึ่งกระจายอยู่ตามอินสแตนซ์การประมวลผลที่เร่งความเร็วหลายตัว มักจะมีการแลกเปลี่ยนข้อมูลปริมาณมากระหว่างกันบ่อยครั้ง การเคลื่อนย้ายผ่านเครือข่ายหลายครั้งระหว่างอินสแตนซ์การประมวลผลอาจส่งผลให้เกิดเวลาในการตอบสนองในการสื่อสารที่สูงขึ้น ซึ่งส่งผลกระทบต่อประสิทธิภาพของงาน LLM การกำกับดูแล Task ของ SageMaker HyperPod ช่วยให้นักวิทยาศาสตร์ข้อมูลสามารถใช้ข้อมูลโทโพโลยีเครือข่ายเมื่อจัดกำหนดการงานที่ต้องการโทโพโลยีเฉพาะได้แล้ว เมื่อใช้โทโพโลยีเครือข่ายใน HyperPod การกำกับดูแล Task ของ SageMaker HyperPod จะจัดกำหนดการงานในตำแหน่งที่เหมาะสมที่สุดโดยอัตโนมัติ ช่วยลดการสื่อสารระหว่างอินสแตนซ์ และเพิ่มประสิทธิภาพการฝึก
การกำกับดูแล Task ของ SageMaker HyperPod พร้อมให้ใช้งานแล้วใน AWS Region ทุกแห่งที่ HyperPod มีให้บริการ ได้แก่ สหรัฐอเมริกาฝั่งตะวันตก (แคลิฟอร์เนียเหนือ), สหรัฐอเมริกาฝั่งตะวันตก (ออริกอน), เอเชียแปซิฟิก (สิงคโปร์), เอเชียแปซิฟิก (ซิดนีย์), ยุโรป (แฟรงก์เฟิร์ต), ยุโรป (ไอร์แลนด์), ยุโรป (สตอกโฮล์ม)
หากต้องการเรียนรู้เพิ่มเติม โปรดไปที่หน้าเว็บ SageMaker HyperPod และเอกสารประกอบการกำกับดูแล Task ของ SageMaker HyperPod