Amazon ECS รองรับการแชร์ GPU ด้วย NVIDIA Multi-Process Service (MPS) แล้ว
ขณะนี้ Amazon Elastic Container Service (Amazon ECS) รองรับการแชร์ GPU ด้วย NVIDIA Multi-Process Service (MPS) ซึ่งช่วยให้คุณสามารถเรียกใช้งาน Amazon ECS หลายงานพร้อมกันบน NVIDIA GPU เพียงตัวเดียวได้ การแชร์ GPU ช่วยให้คุณเพิ่มการใช้งาน GPU และลดค่าใช้จ่ายด้านโครงสร้างพื้นฐานสำหรับเวิร์กโหลดที่ใช้ปริมาณการประมวลผลของ GPU เพียงบางส่วน เช่น การอนุมานของโมเดลขนาดเล็ก, การจำลอง AV/ADAS, การสร้างการฝัง และการให้บริการหลายโมเดล
ด้วยการแชร์ GPU จะทำให้คุณสามารถรวมเวิร์กโหลดได้มากขึ้นในแต่ละอินสแตนซ์ GPU โดยไม่ต้องเปลี่ยนโค้ดแอปพลิเคชันของคุณ คุณสามารถกำหนดหน่วยความจำ GPU ที่แต่ละคอนเทนเนอร์ต้องการ และสามารถกำหนดสัดส่วนสูงสุดของการประมวลผล GPU เพิ่มเติมได้ตามต้องการ โดย Amazon ECS จะจัดสรรงานไปยัง GPU ที่มีปริมาณการประมวลผลพร้อมใช้งานตามการปรับขนาดและการติดตั้งใช้งานบริการของคุณ การแชร์ GPU รองรับบน Amazon ECS Managed Instances และ Amazon ECS บน Amazon EC2 บน Amazon ECS Managed Instances นอกจากนี้ Amazon ECS ยังติดตามตรวจสอบ MPS Control Daemon ที่ช่วยให้สามารถแชร์ GPU บนแต่ละอินสแตนซ์ได้อีกด้วย หาก Daemon หยุดทำงานหรือมีสถานะไม่พร้อมใช้งาน Amazon ECS จะแทนที่อินสแตนซ์โดยอัตโนมัติและย้ายงานของคุณไปยังปริมาณการประมวลผลที่พร้อมใช้งาน เพื่อให้เวิร์กโหลด GPU ของคุณทำงานต่อไปได้โดยไม่ต้องดำเนินการด้วยตนเอง
ในการเริ่มต้นใช้งาน ให้ใช้คอนโซลการจัดการของ AWS, AWS CLI, AWS SDK, AWS CloudFormation หรือเครื่องมือ Infrastructure as Code อื่นๆ เพื่อสร้างผู้ให้บริการปริมาณการประมวลผลที่ใช้อินสแตนซ์ NVIDIA GPU, กำหนดกลยุทธ์การแชร์ GPU และหน่วยความจำในข้อกำหนดคอนเทนเนอร์ของข้อกำหนดงาน และสร้างบริการบนผู้ให้บริการปริมาณการประมวลผลดังกล่าว ความสามารถนี้พร้อมให้ใช้งานในรีเจี้ยนเชิงพาณิชย์ทุกแห่งและ AWS GovCloud (สหรัฐฯ) ดูข้อมูลเพิ่มเติมได้ที่เอกสารประกอบเกี่ยวกับการแชร์ GPU ของ Amazon ECS