ประกาศการขยายการรองรับอินสแตนซ์ G7e บน SageMaker AI Inference ไปยังรีเจี้ยนเพิ่มเติม
เรามีความยินดีที่จะประกาศว่าอินสแตนซ์ Amazon EC2 G7e พร้อมให้ใช้งานบน Amazon SageMaker AI Inference แล้วในเอเชียแปซิฟิก (โซล), ยุโรป (ลอนดอน) และเอเชียแปซิฟิก (โตเกียว) อินสแตนซ์ G7e มาพร้อมกับ GPU NVIDIA RTX PRO 6000 Blackwell Server Edition สูงสุด 8 ตัว ซึ่งมีหน่วยความจำ 96 GB ต่อ GPU, โปรเซสเซอร์ Intel Xeon รุ่นที่ 5 และแบนด์วิดท์ระบบเครือข่าย Elastic Fabric Adapter สูงสุด 1,600 Gbps โดยให้ประสิทธิภาพการอนุมานสูงกว่าอินสแตนซ์ G6e รุ่นก่อนหน้าสูงสุดถึง 2.3 เท่า
ด้วยการขยายรีเจี้ยนในครั้งนี้ คุณสามารถติดตั้งใช้งานตำแหน่งข้อมูลการอนุมานบนอินสแตนซ์ G7e ในรีเจี้ยนที่อยู่ใกล้กับผู้ใช้ปลายทางในเอเชียและยุโรปได้มากขึ้น ซึ่งช่วยลดเวลาแฝงสำหรับเวิร์กโหลด AI ช่วยสร้าง อินสแตนซ์ G7e มาพร้อมกับหน่วยความจำ GPU รวมสูงสุด 768 GB ภายในอินสแตนซ์เดียว ทำให้สามารถให้บริการโมเดลภาษาขนาดกลางถึงขนาดใหญ่ที่มีพารามิเตอร์สูงสุด 70B ด้วยความแม่นยำระดับ FP8 ได้ โดยไม่ต้องใช้การกำหนดค่าแบบหลายโหนด อินสแตนซ์เหล่านี้เหมาะสำหรับเวิร์กโหลดการอนุมานของ LLM, การสร้างรูปภาพและวิดีโอ, การประมวลผลเชิงพื้นที่ และการประมวลผลทางวิทยาศาสตร์ที่ต้องการความจุและแบนด์วิดท์ของหน่วยความจำ GPU สูง
ขณะนี้ อินสแตนซ์ G7e สำหรับ SageMaker AI Inference พร้อมให้บริการในเอเชียแปซิฟิก (โซล) ยุโรป (ลอนดอน) และเอเชียแปซิฟิก (โตเกียว) เพิ่มเติมจากรีเจี้ยนที่รองรับก่อนหน้านี้ สำหรับข้อมูลค่าบริการเกี่ยวกับอินสแตนซ์เหล่านี้ โปรดไปที่หน้าค่าบริการของเรา