อินสแตนซ์ Trn2 ของ Amazon EC2 พร้อมให้ใช้งานโดยทั่วไป
ในวันนี้ AWS ประกาศเปิดตัวความพร้อมใช้งานทั่วไปของอินสแตนซ์ Amazon Elastic Compute Cloud (Amazon EC2) Trn2 และ Trn2 UltraServer เวอร์ชันตัวอย่าง ซึ่งขับเคลื่อนโดยชิป AWS Trainium2 อินสแตนซ์ Trn2 และ UltraServer นี้ใช้งานได้ผ่านบล็อกปริมาณการประมวลผล EC2 โดยเป็นโซลูชันการคำนวณ EC2 ที่ทรงพลังที่สุดสำหรับดีปเลิร์นนิงและการฝึกและการอนุมานของ AI ช่วยสร้าง
คุณสามารถใช้อินสแตนซ์ Trn2 เพื่อฝึกและติดตั้งใช้งานโมเดลพื้นฐานที่ต้องใช้ทรัพยากรและการจัดการมาก เช่น โมเดลภาษาขนาดใหญ่ (LLM), โมเดลหลายรูปแบบ, ตัวแปลงข้อมูลการแพร่กระจาย และอื่น ๆ เพื่อสร้างชุดแอปพลิเคชัน AI ที่หลากหลายได้ หากต้องการลดเวลาการฝึกและส่งมอบเวลาตอบสนองที่ล้ำหน้า (ความหน่วงต่อโทเค็น) ให้กับโมเดลที่ทันสมัยและมีความสามารถมากที่สุด คุณอาจต้องพึ่งพาการประมวลผลและหน่วยความจำมากกว่าที่อินสแตนซ์เดียวจะสามารถให้ได้ Trn2 UltraServer เป็นข้อเสนอ EC2 ใหม่แกะกล่องที่ใช้ NeuronLink ซึ่งเป็นผืนผ้าข้อมูลแบนด์วิดท์สูงและความหน่วงต่ำ เพื่อเชื่อมต่อชิป Trainium2 จำนวน 64 ตัวจากทั้ง 4 อินสแตนซ์ Trn2 ไว้ในโหนดเดียว เพื่อปลดล็อกประสิทธิภาพที่ไม่มีใครเทียบได้ สำหรับการอนุมาน UltraServer ให้เวลาตอบสนองได้ในระดับชั้นนำของอุตสาหกรรม จึงสร้างประสบการณ์แบบเรียลไทม์ได้ดีที่สุด และสำหรับการฝึกนั้น UltraServer ก็จะช่วยเพิ่มความเร็วและประสิทธิภาพการฝึกโมเดลด้วยการสื่อสารแบบรวมที่รวดเร็วขึ้นเพื่อการทำงานคู่ขนานของโมเดล โดยจะทำงานได้เร็วกว่าเมื่อเทียบกับอินสแตนด์อโลน
อินสแตนซ์ Trn2 มีชิป Trainium2 จำนวน 16 ตัว โดยมอบการประมวลผล FP8 ได้สูงสุด 20.8 เพตะฟลอปส์, หน่วยความจำแบนด์วิดท์สูงรวม 1.5 TB พร้อมแบนด์วิดท์หน่วยความจำ 46 TBps และมีเครือข่าย EFA ความเร็ว 3.2 เทราบิตต่อวินาที Trn2 UltraServers มีชิป Trainium2 จำนวน 64 ตัว โดยมอบการประมวลผล FP8 ได้สูงสุด 83.2 เพตะฟลอปส์, หน่วยความจำแบนด์วิดท์สูงรวม 6 TB พร้อมแบนด์วิดท์หน่วยความจำทั้งหมด 185 TBps และมีเครือข่าย EFAv3 ความเร็ว 12.8 เทราบิตต่อวินาที ทั้งสองถูกนำมาใช้ใน EC2 UltraCluster เพื่อมอบความสามารถในการปรับขนาดระบบเพตาบิตสำหรับการฝึกอบรมแบบกระจายโดยไม่มีการหยุดชะงักแต่อย่างใด ตอนนี้ อินสแตนซ์ Trn2 พร้อมใช้งานแล้วใน AWS Region สหรัฐอเมริกาฝั่งตะวันออก (โอไฮโอ) ในขนาด trn2.48xlarge ผ่านบล็อกปริมาณการประมวลผล EC2 สำหรับ ML
หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับอินสแตนซ์ Trn2 และขอสิทธิ์เข้าถึง Trn2 UltraServer โปรดไปที่หน้าอินสแตนซ์ Trn2