Amazon SageMaker AI Inference รองรับอินสแตนซ์ G7 แล้ว
Amazon SageMaker AI Inference รองรับอินสแตนซ์ G7 ที่ขับเคลื่อนด้วย NVIDIA RTX PRO 4500 Blackwell Server Edition GPU แล้ว ซึ่งช่วยให้คุณสามารถติดตั้งใช้งานโมเดลแมชชีนเลิร์นนิงได้ด้วยประสิทธิภาพการอนุมานของ AI สูงกว่าอินสแตนซ์ G6 รุ่นก่อนหน้าสูงสุด 4.6 เท่า ลูกค้าที่ติดตั้งใช้งานโมเดล AI ช่วยสร้างสำหรับการอนุมานในสภาพแวดล้อมการใช้งานจริง จำเป็นต้องใช้ GPU ที่มีอัตราการโอนถ่ายข้อมูลและความจุหน่วยความจำสูง เพื่อรองรับโมเดลขนาดกลางถึงขนาดใหญ่ได้อย่างคุ้มค่า อย่างไรก็ตาม อินสแตนซ์รุ่นก่อนหน้ามักต้องจัดสรรทรัพยากรมากเกินความจำเป็นซึ่งมีค่าใช้จ่ายสูง หรือทำการควอนไทซ์โมเดลเพื่อให้สามารถทำงานได้ภายใต้ข้อจำกัดของหน่วยความจำ
อินสแตนซ์ G7 มาพร้อมกับหน่วยความจำ GPU ขนาด 32 GB ต่อ GPU, Tensor Core รุ่นที่ 5, ระบบเครือข่ายที่รองรับ EFA ที่มีอัตราการโอนถ่ายข้อมูลสูงสุด 700 Gbps (สูงกว่า G6 ถึง 7 เท่า) และพื้นที่จัดเก็บข้อมูล NVMe SSD ภายในเครื่องสูงสุด 7.6 TB เพื่อจัดเก็บโมเดลขนาดใหญ่ไว้ใกล้กับทรัพยากรการประมวลผล ความสามารถเหล่านี้ทำให้อินสแตนซ์ G7 เหมาะสำหรับการให้บริการโมเดลที่มีพารามิเตอร์ในช่วง 7B–30B เวิร์กโหลดการสร้างรูปภาพและวิดีโอ รวมถึงตำแหน่งข้อมูลการอนุมานแบบหลายโมเดลที่ได้รับประโยชน์จากแบนด์วิดท์หน่วยความจำและอัตราการโอนถ่ายข้อมูลที่สูงขึ้น คุณสามารถติดตั้งใช้งานโมเดลบนอินสแตนซ์ G7 ได้โดยใช้คอนโซล, API หรือ SDK ของ SageMaker AI Inference เพียงระบุประเภทอินสแตนซ์ G7 (เช่น ml.g7.xlarge ถึง ml.g7.48xlarge) ในการกำหนดค่าตำแหน่งข้อมูลของคุณ
อินสแตนซ์ G7 สำหรับ SageMaker AI Inference พร้อมให้บริการในรีเจี้ยนสหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียฝั่งเหนือ, โอไฮโอ) และ สหรัฐอเมริกาฝั่งตะวันตก (ออริกอน) สำหรับข้อมูลค่าบริการเกี่ยวกับอินสแตนซ์เหล่านี้ โปรดไปที่หน้าค่าบริการของเรา