ทำไมต้องใช้เทรเนียม
ชิป AWS Trainium เป็นกลุ่มชิป AI ที่ AWS สร้างขึ้นสำหรับการฝึก AI และการอนุมานเพื่อให้ประสิทธิภาพสูงไปพร้อม ๆ กับลดต้นทุน
ชิป AWS Trainium รุ่นแรกเสริมประสิทธิภาพให้กับอินสแตนซ์ Trn1 ของ Amazon Elastic Compute Cloud (Amazon EC2) ซึ่งมีค่าใช้จ่ายในการฝึกน้อยกว่าอินสแตนซ์ Amazon EC2 ที่เทียบเท่ากันถึง 50% ลูกค้าหลายรายรวมถึง Databricks, Ricoh, NinjaTech AI และ Arcee AI ตระหนักถึงประสิทธิภาพและความคุ้มค่าของอินสแตนซ์ Trn1
ชิป AWS Trainium2 มอบประสิทธิภาพของ Trainium รุ่นแรกสูงสุดถึง 4 เท่า อินสแตนซ์ Amazon EC2 Trn2 ที่ใช้ Trainium2 สร้างขึ้นสำหรับ AI ช่วยสร้างโดยเฉพาะและเป็นอินสแตนซ์ EC2 ที่มีประสิทธิภาพสูงสุดสำหรับการฝึกและใช้งานโมเดลที่มีพารามิเตอร์หลายร้อยพันล้านถึงล้านล้านกว่ารายการ อินสแตนซ์ Trn2 มีประสิทธิภาพต่อราคาดีกว่าอินสแตนซ์ EC2 P5e และ P5en รุ่นปัจจุบันที่ใช้ GPU ถึง 30-40% อินสแตนซ์ Trn2 มีชิป Trainium2 จำนวน 16 ชิปที่เชื่อมต่อกันกับ NeuronLink ซึ่งเป็นการเชื่อมต่อระหว่างชิปต่อชิปที่เป็นกรรมสิทธิ์เฉพาะของเรา คุณสามารถใช้อินสแตนซ์ Trn2 เพื่อฝึกและใช้งานโมเดลซึ่งเป็นที่ต้องการมากที่สุด เช่น โมเดลภาษาขนาดใหญ่ (LLM), โมเดลหลายรูปแบบ และตัวแปลงข้อมูลการแพร่กระจาย เพื่อสร้างชุดแอปพลิเคชัน AI ช่วยสร้างรุ่นใหม่ที่หลากหลายได้ Trn2 UltraServers ซึ่งเป็นข้อเสนอ EC2 ใหม่โดยสมบูรณ์ (มีให้ใช้งานในเวอร์ชันทดลองใช้) เหมาะสำหรับโมเดลขนาดใหญ่ที่สุดซึ่งต้องการหน่วยความจำและแบนด์วิดท์หน่วยความจำมากกว่าที่อินสแตนซ์ EC2 แบบสแตนด์อโลนสามารถให้ได้ การออกแบบ UltraServer นั้นจะใช้ NeuronLink เพื่อเชื่อมต่อชิป Trainium2 จำนวน 64 ชิปในอินสแตนซ์ Trn2 4 รายการลงในโหนดเดียว ซึ่งปลดล็อกความสามารถใหม่ ๆ สำหรับการอนุมาน UltraServer ให้เวลาตอบสนองได้ในระดับชั้นนำของอุตสาหกรรม จึงสร้างประสบการณ์แบบเรียลไทม์ได้ดีที่สุด และสำหรับการฝึกนั้น UltraServer ก็จะช่วยเพิ่มความเร็วและประสิทธิภาพการฝึกโมเดลด้วยการสื่อสารแบบรวมที่รวดเร็วขึ้นเพื่อการทำงานคู่ขนานของโมเดล โดยจะทำงานได้เร็วกว่าเมื่อเทียบกับอินสแตนซ์แบบสแตนด์อโลน
คุณสามารถเริ่มต้นฝึกและใช้งานอินสแตนซ์ Trn2 และ Trn1 ได้ด้วยการสนับสนุนแบบเนทีฟสำหรับเฟรมเวิร์กแมชชีนเลิร์นนิง (ML) ยอดนิยมอย่าง PyTorch และ JAX