Amazon SageMaker HyperPod รองรับการเติมข้อมูลล่วงหน้าและการถอดรหัสแบบแยกส่วนแล้ว
Amazon SageMaker HyperPod รองรับการเติมข้อมูลล่วงหน้าและการถอดรหัสแบบแยกส่วน (DPD) ซึ่งเป็นการเพิ่มประสิทธิภาพการอนุมานที่แยกการอนุมานโมเดลภาษาขนาดใหญ่ (LLM) เป็นสองขั้นตอน - เติมข้อมูลล่วงหน้าและการถอดรหัส - ไปยังพูล GPU เฉพาะและถ่ายโอนแคชคีย์-ค่า (KV) ระหว่างกันผ่าน Elastic Fabric Adapter (EFA) โดยใช้ GPU-Direct RDMA ลูกค้าที่ใช้งาน LLM ในระบบการผลิตสำหรับผู้ช่วยแชท, ไปป์ไลน์เอเจนต์, การดึงข้อมูลเพื่อการสร้างแบบเสริม และการวิเคราะห์เอกสารขนาดยาว ต้องการเวลาแฝงต่อโทเค็นที่สม่ำเสมอและอัตราการโอนถ่ายข้อมูลที่คาดการณ์ได้ภายใต้ปริมาณการรับส่งข้อมูลที่หลากหลาย แต่เมื่อการเติมข้อมูลล่วงหน้าและการถอดรหัสใช้ GPU เดียวกัน คำขอบริบทขนาดยาวเพียงครั้งเดียวอาจทำให้การสร้างโทเค็นหยุดชะงักสำหรับทุกคำขอพร้อมกัน และบังคับให้ลูกค้าต้องจัดเตรียมทรัพยากรเกินความจำเป็นในขั้นตอนหนึ่งเพื่อป้องกันอีกขั้นตอนหนึ่ง
ด้วย DPD ลูกค้าสามารถเรียกใช้การเติมข้อมูลล่วงหน้าที่ใช้การประมวลผลบน GPU ชุดหนึ่ง และเรียกใช้การถอดรหัสที่ใช้แบนด์วิดท์กับหน่วยความจำบน GPU อีกชุดหนึ่ง ทำให้ทั้งสองขั้นตอนไม่แย่งชิงทรัพยากรเดียวกันอีกต่อไป วิธีนี้จะช่วยให้ได้เวลาแฝงต่อโทเค็นที่สม่ำเสมอยิ่งขึ้นภายใต้กระบวนการทำงานพร้อมกันอย่างต่อเนื่อง กู๊ดพุตที่สูงขึ้นภายใต้ SLO ด้านเวลาแฝงที่เข้มงวด และความสามารถในการปรับขนาดความจุในการเติมข้อมูลล่วงหน้าและการถอดรหัสได้อย่างอิสระเพื่อให้ตรงกับการกระจายอินพุตและเอาต์พุตของเวิร์กโหลด เราเตอร์อัจฉริยะจะส่งคำขอที่มีบริบทยาวผ่านเส้นทางที่แยกส่วนโดยอัตโนมัติ และส่งพร้อมท์ที่สั้นกว่าไปยังตัวถอดรหัสโดยตรง ทำให้ลูกค้าได้รับประโยชน์จากปริมาณการรับส่งข้อมูลที่จำเป็นโดยไม่ต้องเสียค่าใช้จ่ายเพิ่มเติมสำหรับการส่งพร้อมท์สั้นๆ ลูกค้าสามารถเปิดใช้งาน DPD ได้โดยการเพิ่มส่วน `pdSpec` ลงในทรัพยากรแบบกำหนดเอง `InferenceEndpointConfig` เดียวกันกับที่ใช้สำหรับตำแหน่งข้อมูลการอนุมานบน HyperPod Inference Operator และ DPD สามารถใช้งานร่วมกับฟีเจอร์การถ่ายโอนแคช KV และการกำหนดเส้นทางอัจฉริยะที่มีอยู่แล้วบน HyperPod ได้
DPD พร้อมใช้งานสำหรับคลัสเตอร์ SageMaker HyperPod ที่ใช้เครื่องมือควบคุมระบบ EKS บนประเภทอินสแตนซ์ที่รองรับ EFA ใน AWS Region ทุกแห่งที่ให้บริการ Amazon SageMaker HyperPod หากต้องการเรียนรู้เพิ่มเติม โปรดดูการเติมข้อมูลล่วงหน้าและการถอดรหัสแบบแยกส่วนสำหรับการอนุมาน HyperPod ในคู่มือสำหรับนักพัฒนา Amazon SageMaker AI