การประกาศเปิดตัว Trn3 UltraServer จาก Amazon EC2 สำหรับฝึก AI ช่วยสร้างที่รวดเร็วและคุ้มค่า
AWS ประกาศความพร้อมใช้งานโดยทั่วไปของ Amazon Elastic Compute Cloud (Amazon EC2) Trn3 UltraServers ที่ขับเคลื่อนโดย Trainium3 ชิป AI รุ่นที่สี่ของเรา, ชิป AWS AI ระดับ 3 นาโนเมตรตัวแรกของเราที่สร้างขึ้นตามวัตถุประสงค์เพื่อส่งมอบเศรษฐศาสตร์โทเค็นที่ดีที่สุดสำหรับแอปพลิเคชันการให้เหตุผลและแอปพลิเคชันการสร้างวิดีโอแบบเอเจนติกรุ่นถัดไป
ชิป AWS Trainium3 แต่ละตัวให้การประมวลผลในรูปแบบ FP8 สูงสุด 2.52 เพตาฟล็อป (PFLOPs) เพิ่มความจุหน่วยความจำสูงสุด 1.5 เท่าและแบนวิดท์สูงสุด 1.7 เท่า เหนือกว่า Trainium2 ที่มีหน่วยความจำ HBM3e ขนาด 144 GB และแบนวิดท์หน่วยความจำที่ 4.9 TB/s Trainium3 ได้รับการออกแบบมาสำหรับเวิร์กโหลดที่หนาแน่นและคู่ขนานกับผู้เชี่ยวชาญด้วยประเภทข้อมูลขั้นสูง (MXFP8 และ MXFP4) และสมดุลหน่วยความจำในการประมวลผลที่ดีขึ้นสำหรับงานให้เหตุผลหลายรูปแบบแบบเรียลไทม์
Trn3 UltraServer สามารถขยายขนาดชิป Trainium3 ได้สูงสุด 144 ชิป (รวม 362 FP8 PFLOPs) และมีให้ใช้ในรุ่น EC2 UltraClusters 3.0 เพื่อขยายขนาดชิปได้หลายแสนชิป Trn3 UltraServer ที่กำหนดค่าได้เต็มรูปแบบนี้จะมอบหน่วยความจำ HBM3e สูงสุด 20.7 TB และแบนวิดท์หน่วยความจำรวม 706 TB/s Trn3 UltraServer รุ่นถัดไปมีฟีเจอร์ NeuronSwitch-v1 โครงข่ายที่ครอบคลุมซึ่งทำให้แบนวิดท์การเชื่อมต่อระหว่างชิปเพิ่มขึ้นสองเท่าเหนือกว่า Trn2 UltraServer
Trn3 ให้ประสิทธิภาพสูงกว่าถึง 4.4 เท่า แบนวิดท์หน่วยความจำสูงกว่า 3.9 เท่า และประสิทธิภาพต่อวัตต์ดีกว่า 4 เท่าเมื่อเทียบกับ Trn2 UltraServers ของเรา ซึ่งให้ความคุ้มค่าสูงสุดสำหรับการฝึกและการทำหน้าที่โมเดลสุดล้ำ รวมถึงการเรียนรู้แบบเสริมแรง, การผสมผสานผู้เชี่ยวชาญ (MoE), การให้เหตุผลและสถาปัตยกรรมบริบทยาว บน Amazon Bedrock, Trainium3 เป็นตัวเร่งความเร็วที่เร็วที่สุดของเรา ซึ่งให้ประสิทธิภาพที่เร็วกว่า Trainium2 ถึง 3 เท่า ด้วยโทเค็นเอาต์พุตต่อเมกะวัตต์ที่เวลาแฝงต่อผู้ใช้ใกล้เคียงกันสูงกว่าถึง 5 เท่า
Trn3 UltraServer ใหม่สร้างขึ้นเพื่อนักวิจัย AI และขับเคลื่อนโดย AWS Neuron SDK เพื่อปลดล็อกประสิทธิภาพแห่งปรากฏการณ์ ด้วยการผสานรวม PyTorch พื้นฐาน, นักพัฒนาจึงสามารถฝึกและปรับใช้ได้โดยไม่ต้องเปลี่ยนรหัสโมเดลแม้แต่บรรทัดเดียว สำหรับวิศวกรด้านประสิทธิภาพ AI, เราได้เปิดใช้งานการเข้าถึง Trainium3 ได้ลึกกว่า เพื่อให้เหล่าวิศวกรสามารถปรับแต่งประสิทธิภาพเพิ่มเติม ปรับแต่งเคอร์เนล และผลักดันโมเดลให้ไปได้ไกลขึ้น เนื่องจากนวัตกรรมเจริญรุ่งเรืองจากการเปิดกว้าง เราจึงมุ่งมั่นที่จะมีส่วนร่วมกับนักพัฒนาของเราผ่านเครื่องมือและทรัพยากรแบบโอเพนซอร์ส