الإعلان عن Amazon EC2 Trn3 UltraServers للتدريب على الذكاء الاصطناعي المولّد بشكل أسرع وبتكلفة أقل
تعلن AWS عن التوافر العام لخوادم Amazon Elastic Compute Cloud (Amazon EC2) Trn3 UltraServers المدعومة بشريحة الذكاء الاصطناعي من الجيل الرابع Trainium3، وهي أول شريحة ذكاء اصطناعي من AWS بحجم 3 نانومتر مصممة خصيصًا لتقديم أفضل اقتصاديات للرموز للتطبيقات الوكيلة والاستدلال وتوليد الفيديو من الجيل التالي.
توفر كل شريحة AWS Trainium3 قدرة حوسبة FP8 تبلغ 2.52 بيتافلوب (PFLOPs)، وتزيد سعة الذاكرة بمقدار 1.5 مرة والنطاق الترددي بمقدار 1.7 مرة مقارنة بـ Trainium2 إلى 144 جيجابايت من ذاكرة HBM3e، و4.9 تيرابايت/ثانية من النطاق الترددي للذاكرة. تم تصميم Trainium3 لكل من أعباء العمل الكثيفة والمتوازية للخبراء مع أنواع بيانات متقدمة (MXFP8 وMXFP4) وتوازن محسّن بين الذاكرة والحوسبة للمهام في الوقت الفعلي والمتعددة الوسائط والاستدلال.
يمكن لـ Trn3 UltraServers التوسع إلى 144 شريحة Trainium3 (إجمالي 362 FP8 PFLOPs) وهي متاحة في EC2 UltraClusters 3.0 للتوسع إلى مئات الآلاف من الرقائق. يوفر Trn3 UltraServer المُكوَّن بالكامل ما يصل إلى 20.7 تيرابايت من HBM3e و706 تيرابايت/ثانية من النطاق الترددي الإجمالي للذاكرة. يتميز Trn3 UltraServer من الجيل التالي بـ NeuronSwitch-v1، وهو نسيج شامل يضاعف النطاق الترددي للتوصيل البيني بين الرقائق مقارنة بـ Trn2 UltraServer.
يوفر Trn3 أداءً أعلى بما يصل إلى 4.4 مرة، ونطاقًا تردديًا للذاكرة أعلى بـ 3.9 مرة، وأداءً أفضل لكل واط بـ 4 مرات مقارنة بـ Trn2 UltraServers الخاص بنا، مما يوفر أفضل أداء سعري لتدريب وخدمة النماذج على نطاق الحدود، بما في ذلك التعلم المعزز، ومزيج الخبراء (MoE)، والاستدلال، وبنيات السياق الطويل. في Amazon Bedrock، يُعد Trainium3 أسرع مُسرِّع لدينا، حيث يقدم أداءً أسرع بما يصل إلى 3 مرات من Trainium2 مع رموز إخراج أعلى بأكثر من 5 مرات لكل ميجا واط بنفس زمن الاستجابة لكل مستخدم.
تم تصميم Trn3 UltraServers الجديدة للباحثين في مجال الذكاء الاصطناعي ويتم تشغيلها بواسطة AWS Neuron SDK، لفتح أداء متميز. مع التكامل الأصلي لـ PyTorch، يمكن للمطورين التدريب والنشر دون تغيير سطر واحد من كود النموذج. بالنسبة لمهندسي أداء الذكاء الاصطناعي، قمنا بتمكين وصول أعمق إلى Trainium3 حتى يتمكنوا من ضبط الأداء، وتخصيص النوى، ودفع النماذج إلى أبعد من ذلك. نظرًا لأن الابتكار يزدهر بالانفتاح، فنحن ملتزمون بالتفاعل مع مطورينا من خلال الأدوات والموارد مفتوحة المصدر.