- Amazon EC2›
- ประเภทอินสแตนซ์›
- อินสแตนซ์ Trn2
อินสแตนซ์และ UltraServers ของ Amazon EC2 Trn2
การประมวลผล EC2 ประสิทธิภาพสูงสำหรับการฝึกและการอนุมาน AI ช่วยสร้าง
ทำไมต้องใช้อินสแตนซ์ Amazon EC2 Trn2 และ UltraServer
อินสแตนซ์ Amazon EC2 Trn2 ซึ่งขับเคลื่อนด้วยชิป AWS Trainium2 16 ชิป ถูกสร้างขึ้นโดยเฉพาะสำหรับ AI แบบสร้างสรรค์และนำเสนออินสแตนซ์ EC2 ประสิทธิภาพสูงสำหรับการฝึกอบรมและการปรับใช้โมเดลที่มีพารามิเตอร์หลายร้อยพันล้านถึงมากกว่าล้านล้านล้าน อินสแตนซ์ Trn2 ให้ประสิทธิภาพในราคาที่ดีกว่าอินสแตนซ์ EC2 P5e และ P5en ที่ใช้ GPU 30-40% คุณจะได้รับประสิทธิภาพการฝึกและการอนุมานสุดล้ำสมัยไปพร้อม ๆ กับการลดต้นทุนเมื่อใช้อินสแตนซ์ Trn2 คุณจึงสามารถลดเวลาในการฝึก ทำซ้ำได้เร็วยิ่งขึ้น รวมถึงมอบประสบการณ์ที่ขับเคลื่อนด้วย AI แบบเรียลไทม์ คุณสามารถใช้อินสแตนซ์ Trn2 เพื่อฝึกและใช้งานโมเดล เช่น โมเดลภาษาขนาดใหญ่ (LLM), โมเดลหลายรูปแบบ และตัวแปลงข้อมูลการแพร่กระจาย เพื่อสร้างชุดแอปพลิเคชัน AI ช่วยสร้างรุ่นใหม่ได้
หากต้องการลดเวลาการฝึกและส่งมอบเวลาตอบสนองที่ล้ำหน้า (ความหน่วงต่อโทเค็น) ให้กับโมเดลที่ทันสมัยและเป็นที่ต้องการมากที่สุด คุณอาจต้องอาศัยการประมวลผลและหน่วยความจำมากกว่าที่อินสแตนซ์เดียวจะสามารถให้ได้ Trn2 UltraServers ใช้ NeuronLink ซึ่งเป็นการเชื่อมต่อระหว่างชิปที่เป็นกรรมสิทธิ์เฉพาะของเรา เพื่อเชื่อมต่อกับชิป Trainium2 จำนวน 64 ชิปในอินสแตนซ์ Trn2 รายการ โดยช่วยเพิ่มการประมวลผล หน่วยความจำ และแบนวิดท์เครือข่ายที่มีอยู่ในโหนดเดียวถึง 4 เท่า รวมถึงมอบประสิทธิภาพที่ล้ำหน้าบน AWS สำหรับเวิร์กโหลดดีปเลิร์นนิงและ AI ช่วยสร้าง สำหรับการอนุมาน UltraServer ให้เวลาตอบสนองได้ในระดับชั้นนำของอุตสาหกรรม จึงสร้างประสบการณ์แบบเรียลไทม์ได้ดีที่สุด และสำหรับการฝึกนั้น UltraServer ก็จะช่วยเพิ่มความเร็วและประสิทธิภาพการฝึกโมเดลด้วยการสื่อสารแบบรวมที่รวดเร็วขึ้นเพื่อการทำงานคู่ขนานของโมเดล โดยจะทำงานได้เร็วกว่าเมื่อเทียบกับอินสแตนซ์แบบสแตนด์อโลน
คุณสามารถเริ่มต้นใช้งานอินสแตนซ์ Trn2 และ Trn2 UltraServer ได้อย่างง่ายดายด้วยการสนับสนุนแบบเนทีฟสำหรับเฟรมเวิร์กแมชชีนเลิร์นนิง (ML) ยอดนิยมอย่าง PyTorch และ JAX
“Trn2 UltraServer พร้อมให้บริการแล้วสำหรับภาระงาน AI แบบสร้างสรรค์มากที่สุด”
ประโยชน์
อินสแตนซ์ Trn2 ช่วยให้คุณลดเวลาในการฝึก และมอบประสบการณ์การอนุมานแบบเรียลไทม์ให้กับผู้ใช้ปลายทางของคุณ อินสแตนซ์ Trn2 มีชิป Trainium2 16 ชิปที่เชื่อมต่อกันกับ NeuronLink ซึ่งเป็นการเชื่อมต่อระหว่างชิปต่อชิปที่เป็นกรรมสิทธิ์ของเรา เพื่อมอบพลังการประมวลผล FP8 สูงสุด 20.8 เพตะฟลอปส์ อินสแตนซ์ Trn2 มี HBM3 ทั้งหมด 1.5 TB โดยมีแบนด์วิดท์หน่วยความจำ 46 เทราไบต์ต่อวินาที (TBps) และเครือข่าย Elastic Fabric Adapter (EFAv3) 3.2 เทราบิตต่อวินาที (Tbps) Trn2 UltraServers (เวอร์ชันทดลองใช้) มีชิป Trainium2 จำนวน 64 ชิป ที่เชื่อมต่อกันด้วย NeuronLink และสามารถประมวลผล FP8 ได้สูงสุด 83.2 เพตะฟลอปส์ หน่วยความจำแบนด์วิดท์สูง 6 TB พร้อมแบนด์วิดท์หน่วยความจำทั้งหมด 185 TBps และมีเครือข่าย EFAv3 ความเร็ว 12.8 เทราบิตต่อวินาที
อินสแตนซ์ Trn2 และ Trn2 UltraServers มีเครือข่าย EFAv3 ที่ 3.2 Tbps และ 12.8 Tbps ตามลำดับเพื่อการฝึกแบบกระจายที่มีประสิทธิภาพ EFA สร้างขึ้นบนระบบ AWS Nitro ซึ่งหมายความว่าการสื่อสารทั้งหมดผ่าน EFA มีการเข้ารหัสในการขนส่งโดยไม่ต้องเสียค่าปรับประสิทธิภาพใด ๆ นอกจากนี้ EFA ยังใช้โปรโตคอลการกำหนดเส้นทางและการควบคุมความแออัดที่ซับซ้อน ซึ่งช่วยให้สามารถปรับขนาดไปยัง Trainium2 หลายแสนชิปได้อย่างน่าเชื่อถือ อินสแตนซ์ Trn2 และ UltraServer กำลังถูกนำไปใช้ใน EC2 UltraClusters เพื่อเปิดใช้งานการฝึกอบรมแบบกระจายแบบสเกลเอาท์ผ่านชิป Trainium หลายหมื่นชิปบนเครือข่ายที่ไม่บล็อคขนาด petabit เดียว
อินสแตนซ์ Trn2 ให้ประสิทธิภาพราคาที่ดีกว่าอินสแตนซ์ EC2 P5e และ P5en ที่ใช้ GPU 30-40%
อินสแตนซ์ Trn2 มีประสิทธิภาพในการใช้พลังงานสูงกว่าอินสแตนซ์ Trn1 ถึง 3 เท่า อินสแตนซ์เหล่านี้และชิปพื้นฐานใช้กระบวนการซิลิคอนขั้นสูง รวมถึงการปรับแต่งฮาร์ดแวร์และซอฟต์แวร์ เพื่อมอบประสิทธิภาพการใช้พลังงานสูงเมื่อใช้งานเวิร์กโหลด AI ช่วยสร้างในระดับขนาดใหญ่
AWS Neuron SDK ช่วยให้คุณดึงประสิทธิภาพเต็มรูปแบบจากอินสแตนซ์ Trn2 และ UltraServer Neuron ผสานรวมเข้ากับ JAX, PyTorch และไลบรารีที่จำเป็นอย่างเช่น Hugging Face, PyTorch Lightning และอื่น ๆ Neuron ถูกสร้างขึ้นสำหรับนักวิจัยและนักสำรวจ AI เพื่อปลดล็อกประสิทธิภาพที่ก้าวหน้า ด้วยการผสานรวม PyTorch แบบดั้งเดิม คุณสามารถฝึกอบรมและปรับใช้ได้โดยไม่ต้องเปลี่ยนรหัสเพียงบรรทัดเดียว สำหรับวิศวกรด้านประสิทธิภาพ AI เราได้เปิดใช้งานการเข้าถึง Trainium 2 อย่างลึกซึ้งยิ่งขึ้น เพื่อให้คุณสามารถปรับแต่งประสิทธิภาพได้อย่างละเอียด ปรับแต่งเคอร์เนล และผลักดันโมเดลของคุณให้มากยิ่งขึ้น ด้วย Neuron คุณสามารถใช้อินสแตนซ์ Trn2 ร่วมกับบริการต่าง ๆ เช่น Amazon SageMaker, Amazon EKS, Amazon ECS, AWS ParallelCluster และ AWS Batch รวมถึงบริการของบริษัทอื่น ๆ เช่น Ray (Anyscale), Domino Data Lab และ Datadog เนื่องจากนวัตกรรมเจริญรุ่งเรืองจากการเปิดกว้าง Neuron จึงมุ่งมั่นที่จะขับเคลื่อนนวัตกรรมผ่านโอเพ่นซอร์สและการทำงานร่วมกันแบบเปิดกับชุมชน AI ที่กว้างขวาง
คุณสมบัติ
อินสแตนซ์ Trn2 มีชิป Trainium2 16 ชิปที่เชื่อมต่อกันกับ NeuronLink เพื่อมอบพลังการประมวลผล FP8 สูงสุด 20.8 เพตะฟลอปส์ Trn2 UltraServers ขยายการเชื่อมต่อ NeuronLink ไปยังชิป Trainium2 จำนวน 64 ชิปในอินสแตนซ์ Trn2 จำนวน 4 อินสแตนซ์ เพื่อส่งมอบพลังการประมวลผลสูงสุด 83.2 FP8 เพตะฟล็อปส์
อินสแตนซ์ Trn2 มีหน่วยความจำตัวเร่งความเร็ว 1.5 TB พร้อมแบนด์วิดท์หน่วยความจำรวม 46 TBps Trn2 UltraServers มีหน่วยความจำตัวเร่งความเร็วแบบแชร์ 6 TB พร้อมแบนด์วิดท์หน่วยความจำรวม 185 TBps เพื่อรองรับโมเดลพื้นฐานขนาดใหญ่พิเศษ
อินสแตนซ์ Trn2 มีแบนด์วิธเครือข่ายจำนวน 3.2 Tbps ขณะที่ Trn2 UltraServers มีแบนด์วิธเครือข่าย EFAv3 จำนวน 12.8 Tbps เพื่อรองรับการฝึกแบบกระจายขนาดใหญ่ของโมเดลพื้นฐานขนาดใหญ่มาก EC2 UltraClusters เมื่อใช้ร่วมกับ EFAv3 จะมีเวลาแฝงของเครือข่ายต่ำกว่า EFAv2 อินสแตนซ์ Trn2 แต่ละตัวรองรับได้สูงสุด 8 TB ในขณะที่ Trn2 UltraServer แต่ละตัวรองรับพื้นที่จัดเก็บ NVMe ภายในสูงสุด 32 TB ทั้งนี้เพื่อให้สามารถเข้าถึงชุดข้อมูลขนาดใหญ่ได้เร็วขึ้น
อินสแตนซ์ Trn2 และ UltraServer รองรับประเภทข้อมูลแบบ FP32, TF32, BF16, FP16 และ FP8 (cFP8) ที่กำหนดค่าได้ นอกจากนี้ ยังรองรับการปรับแต่งโดย AI ที่ล้ำสมัย รวมถึงการกระจายข้อมูลแบบ 4 เท่า (16:4) การปัดเศษแบบสโตคาสติก และเครื่องมือรวมกลุ่มเฉพาะ Neuron Kernel Interface (NKI) ช่วยให้สามารถเข้าถึงสถาปัตยกรรมชุดคำแนะนำ (ISA) โดยตรงโดยใช้สภาพแวดล้อมแบบ Python ที่มีอินเทอร์เฟซคล้าย Triton ซึ่งช่วยให้คุณสร้างสถาปัตยกรรมโมเดลใหม่และเคอร์เนลการคำนวณที่ได้รับการปรับแต่งสูง ซึ่งเหนือกว่าเทคนิคที่มีอยู่
Neuron รองรับโมเดลกว่า 100,000 แบบบนฮับโมเดล Hugging Face สำหรับการฝึกและการนำไปใช้จริงบน Trn2 รวมถึงสถาปัตยกรรมโมเดลยอดนิยม เช่น Llama และ Stable Diffusion Neuron ผสานรวมเข้ากับ JAX, PyTorch รวมถึงเครื่องมือ เฟรมเวิร์ก และไลบรารีที่สำคัญ เช่น NeMo, Hugging Face, PyTorch Lightning, Ray, Domino Data Lab และ Data Dog นอกจากนี้ยังช่วยเพิ่มประสิทธิภาพโมเดลให้เหมาะสมสำหรับการฝึกและการอนุมานแบบกระจายโดยไม่ต้องตั้งค่าเพิ่มเติม พร้อมทั้งให้ข้อมูลเชิงลึกในการรวบรวมข้อมูลและแก้ไขปัญหา อีกทั้ง Neuron ยังผสานรวมเข้ากับบริการ เช่น Amazon SageMaker, Amazon EKS, Amazon ECS, AWS ParallelCluster และ AWS Batch
คำนิยมของลูกค้าและพาร์ทเนอร์
ต่อไปนี้คือตัวอย่างวิธีที่ลูกค้าและพาร์ทเนอร์วางแผนที่จะบรรลุเป้าหมายทางธุรกิจโดยใช้อินสแตนซ์ Amazon EC2 Trn2
Anthropic
ที่ Anthropic ผู้คนนับล้านอาศัย Claude ทุกวันในการทำงาน เรากำลังประกาศความก้าวหน้าหลักสองประการกับ AWS โดยประการแรกคือ “โหมดที่ได้รับการปรับปรุงเวลาแฝง” ใหม่สำหรับ Claude 3.5 Haiku ซึ่งทำงานได้เร็วกว่า 60% บน Trainium2 ผ่าน Amazon Bedrock และประการที่สองคือ Project Rainier ซึ่งเป็นคลัสเตอร์ใหม่ที่มีชิป Trainium2 หลายแสนชิปที่ส่งมอบ exaflops หลายร้อยตัว โดยมีขนาดใหญ่กว่าคลัสเตอร์ก่อนหน้านี้มากกว่า 5 เท่า Project Rainier จะช่วยส่งเสริมประสิทธิภาพทั้งด้านการศึกษาวิจัยและการปรับขนาดรุ่นใหม่ของเรา ซึ่งหมายถึงความชาญฉลาดที่มากขึ้น ราคาที่ต่ำลง และความเร็วที่รวดเร็วยิ่งขึ้นสำหรับลูกค้าของเรา เราไม่เพียง แต่สร้าง AI ที่เร็วขึ้นเท่านั้น แต่เรากำลังสร้าง AI ที่เชื่อถือได้ซึ่งมีขนาดใหญ่- ทอม บราวน์ หัวหน้าเจ้าหน้าที่ฝ่ายคำนวณแห่งมานุษยวิทยา
Databricks
Mosaic AI ของ Databricks ช่วยให้องค์กรต่าง ๆ สามารถสร้างและนำระบบเอเจนต์ที่มีคุณภาพมาใช้ได้ ซึ่งสร้างสร้างขึ้นบน Data Lakehouse แบบเนทีฟ ช่วยทำให้ลูกค้าสามารถปรับแต่งโมเดลได้อย่างง่ายดายและปลอดภัยโดยใช้ข้อมูลองค์กรและส่งมอบผลลัพธ์ที่แม่นยำและเฉพาะโดเมนมากขึ้น ด้วยประสิทธิภาพสูงและคุ้มค่าของTrainium ทำให้ลูกค้าสามารถปรับขนาดการฝึกโมเดลเกี่ยวกับ Mosaic AI ได้ด้วยต้นทุนที่ต่ำลง ความพร้อมใช้งานของ Trainium2 จะเป็นประโยชน์ที่สำคัญสำหรับ Databricks และลูกค้า เนื่องจากความต้องการ Mosaic AI ยังคงเพิ่มขึ้นในทุกกลุ่มลูกค้าและทั่วโลก Databricks ซึ่งเป็นหนึ่งในบริษัทข้อมูลและ AI ที่ใหญ่ที่สุดในโลกวางแผนที่จะใช้ TRN2 เพื่อส่งผลลัพธ์ที่ดีขึ้นและลดTCO สูงสุดถึง 30% สำหรับลูกค้า - Naveen Rao รองประธานฝ่ายผลิตของ Generative AI ที่ Databricks
poolside
ที่ poolside เราตั้งใจสร้างโลกที่ AI จะช่วยขับเคลื่อนการทำงานที่มีคุณค่าทางเศรษฐกิจและความก้าวหน้าทางวิทยาศาสตร์โดยส่วนใหญ่ เราเชื่อว่าการพัฒนาซอฟต์แวร์จะเป็นความสามารถที่สำคัญอันดับแรกในนิวรัลเน็ตเวิร์กที่เข้าถึงความฉลาดระดับมนุษย์เนื่องจากเป็นโดเมนที่เราสามารถรวมวิธีการค้นหาและการเรียนรู้ได้ดีที่สุด เพื่อให้เป็นเช่นนั้น เรากำลังสร้างโมเดลพื้นฐาน, API และผู้ช่วยเพื่อนำพลังของ AI ช่วยสร้างขึ้นมาสู่มือของนักพัฒนา (หรือแป้นพิมพ์) กุญแจสำคัญในการเปิดใช้งานเทคโนโลยีนี้คือโครงสร้างพื้นฐานที่เราใช้ในการสร้างและเรียกใช้ผลิตภัณฑ์ ด้วย AWS Trainium2 ลูกค้าของเราจะสามารถปรับขนาดการใช้งาน poolside ได้ในอัตราส่วนการประเมินประสิทธิภาพต่อราคา ซึ่งแตกต่างจากตัวเร่ง AI อื่น ๆ นอกจากนี้เรายังวางแผนที่จะฝึกโมเดลในอนาคตด้วย Trainium2 UltraServer โดยคาดว่าจะประหยัด 40% เมื่อเทียบกับอินสแตนซ์ EC2 P5 - Eiso Kant CTO และผู้ร่วมก่อตั้ง, ริมสระว่ายน้ำ
Itaú Unibanco
วัตถุประสงค์ของ Itaú Unibanco คือการปรับปรุงความสัมพันธ์ของผู้คนกับเงิน สร้างผลกระทบเชิงบวกต่อชีวิตของผู้คนขณะที่ขยายโอกาสในการเปลี่ยนแปลง ที่ Itaú Unibanco เราเชื่อว่าลูกค้าแต่ละคนมีความเฉพาะตัว และเรามุ่งเน้นไปที่การตอบโจทย์ความต้องการผ่านเส้นทางแบบดิจิทัลที่ใช้งานง่าย ซึ่งใช้ประโยชน์จากพลังของ AI เพื่อปรับให้เข้ากับนิสัยของผู้บริโภคอย่างต่อเนื่อง เราได้ทดสอบ AWS Trainium และ Inferentia ในงานต่าง ๆ ตั้งแต่การอนุมานมาตรฐานไปจนถึงแอปพลิเคชันที่ผ่านการปรับแต่ง ประสิทธิภาพของชิป AI เหล่านี้ช่วยให้เราสามารถบรรลุเป้าหมายสำคัญด้านการวิจัยและพัฒนาของเราได้ สำหรับงานอนุมานทั้งแบบแบทช์และออนไลน์ เราพบว่าอัตราการโอนถ่ายข้อมูลเพิ่มขึ้น 7 เท่าเมื่อเทียบกับ GPU ประสิทธิภาพที่เพิ่มขึ้นนี้กำลังขับเคลื่อนการขยายกรณีการใช้งานมากขึ้นทั่วทั้งองค์กร ชิป Trainium2 รุ่นล่าสุดปลดล็อคคุณสมบัติที่ล้ำสมัยสำหรับ GenAi และเปิดประตูสู่นวัตกรรมที่ Itau - Vitor Azeka หัวหน้าสาขาวิทยาศาสตร์ข้อมูลที่ Itaú Unibanco
NinjaTech AI
Ninja เป็น AI Agent แบบ All-In-One เพื่อประสิทธิภาพการทำงานไม่จำกัด โดยเป็นการสมัครใช้งานง่ายเพียงครั้งเดียว ที่มาพร้อมกับสิทธิ์เข้าถึงโมเดล AI ที่ดีที่สุดในโลกได้ไม่จำกัด รวมถึงทักษะ AI ชั้นนำ เช่น การเขียน การเขียนโค้ด ระดมความคิด การสร้างรูปภาพ การวิจัยออนไลน์ Ninja เป็นแพลตฟอร์มเอเจนต์และมี “SuperAgent” ซึ่งใช้เอเจนต์แบบผสมผสานที่มีความแม่นยำระดับโลกเทียบเท่ากับ (และเหนือกว่าในบางหมวดหมู่) โมเดลพื้นฐานแนวชายแดน เทคโนโลยี Agentic ของ Ninja ต้องการตัวเร่งความเร็วที่มีประสิทธิภาพสูงสุด เพื่อมอบประสบการณ์แบบเรียลไทม์ที่ไม่เหมือนใครที่ลูกค้าคาดหวัง เรารู้สึกตื่นเต้นอย่างยิ่งสำหรับการเปิดตัว AWS TRN2 เพราะเราเชื่อว่ามันจะให้ประสิทธิภาพต้นทุนต่อโทเค็นที่ดีที่สุดและความเร็วที่เร็วที่สุดในปัจจุบันสำหรับ Ninja LLM รุ่นหลักของเราซึ่งอิงจาก Llama 3.1 405B น่าอัศจรรย์ที่ได้เห็นความหน่วงต่ำของ Trn2 พร้อมกับราคาที่แข่งขันได้และความพร้อมใช้งานตามความต้องการ เราไม่สามารถตื่นเต้นกับการมาถึงของ Trn2 มากกว่านี้ได้!- บาบัค พาห์ลาวาน ผู้ก่อตั้งและประธานเจ้าหน้าที่บริหาร NinjaTech AI
Ricoh
ทีมแมชชีนเลิร์นนิงของ RICOH พัฒนาโซลูชันในสถานที่ทำงานและบริการเปลี่ยนผ่านสู่ระบบดิจิทัลที่ออกแบบมาเพื่อจัดการและเพิ่มประสิทธิภาพโฟลว์ข้อมูลในโซลูชันองค์กรของเรา การย้ายไปยังอินสแตนซ์ Trn1 นั้นง่ายดายและเรียบง่าย เราสามารถฝึกพารามิเตอร์ LLM 13B ของเราล่วงหน้าได้ในเวลาเพียง 8 วัน โดยใช้คลัสเตอร์ของชิป Trainium จำนวน 4,096 ชิป! หลังจากความสำเร็จที่เราได้รับจากการใช้โมเดลขนาดเล็ก เราได้ปรับแต่ง LLM ใหม่ที่ใหญ่กว่าซึ่งใช้ Llama-3-Swallow-70B และใช้ประโยชน์จาก Trainium เราจึงสามารถลดต้นทุนการฝึกได้ 50% และปรับปรุงประสิทธิภาพการใช้พลังงาน 25% เมื่อเทียบกับการใช้เครื่อง GPU ล่าสุดใน AWS เรารู้สึกตื่นเต้นที่จะใช้ประโยชน์จากชิป AI ของ AWS รุ่นล่าสุด Trainium2 เพื่อมอบประสิทธิภาพที่ดีที่สุดให้กับลูกค้าของเราอย่างต่อเนื่องในราคาต่ำที่สุด - Yoshiaki Umetsu ผู้อำนวยการศูนย์พัฒนาเทคโนโลยีดิจิทัล ริโคห์
PyTorch
สิ่งที่ฉันชอบมากที่สุดเกี่ยวกับไลบรารี AWS Neuron NxD Inference คือวิธีการรวมเข้ากับโมเดล PyTorch ได้อย่างราบรื่น แนวทางของ NxD นั้นใช้งานง่ายและไม่ซับซ้อน ทีมงานของเราสามารถเริ่มต้นใช้งานโมเดล HuggingFace PyTorch ได้ด้วยการเปลี่ยนแปลงโค้ดให้น้อยที่สุดในกรอบเวลาอันสั้น การเปิดใช้งานฟีเจอร์ขั้นสูงเช่นการสร้างแบตช์อย่างต่อเนื่องและการถอดรหัสเก็งกำไรนั้นไม่ซับซ้อน ความสะดวกในการใช้งานนี้ช่วยเพิ่มประสิทธิภาพการทำงานของนักพัฒนา ทำให้ทีมสามารถมุ่งเน้นไปที่นวัตกรรมมากขึ้นและลดความท้าทายในการบูรณาการได้ - Hamid Shojanazeri, ผู้นำด้านวิศวกรรมพันธมิตร PyTorch, Meta
Refact.ai
Refact.ai นำเสนอเครื่องมือ AI ที่มีความครอบคลุม เช่น การเติมโค้ดอัตโนมัติที่ขับเคลื่อนโดย Retrieval-Augmented Generation (RAG) การให้คำแนะนำที่แม่นยำยิ่งขึ้น รวมถึงการแชทที่รับรู้บริบทโดยใช้ทั้งโมเดลที่เป็นกรรมสิทธิ์และโมเดลแบบโอเพนซอร์ส ลูกค้าได้รับประสิทธิภาพสูงขึ้นถึง 20% และโทเค็นที่สูงกว่า 1.5 เท่าต่อดอลลาร์ด้วยอินสแตนซ์ EC2 Inf2 เมื่อเทียบกับอินสแตนซ์ EC2 G5 ความสามารถในการปรับแต่งของ Refact.ai ช่วยเพิ่มความสามารถของลูกค้าในการทำความเข้าใจและปรับให้เข้ากับฐานโค้ดและสภาพแวดล้อมที่เป็นเอกลักษณ์ขององค์กร นอกจากนี้ เรายังตื่นเต้นที่จะนำเสนอความสามารถของ Trainium2 ซึ่งจะนำการประมวลผลที่รวดเร็วและมีประสิทธิภาพมากขึ้นให้กับเวิร์กโฟลว์ของเรา เทคโนโลยีขั้นสูงนี้จะช่วยให้ลูกค้าของเราสามารถเร่งกระบวนการพัฒนาซอฟต์แวร์ได้โดยการเพิ่มประสิทธิภาพของนักพัฒนาซอฟต์แวร์ในขณะที่รักษามาตรฐานความปลอดภัยที่เข้มงวดสำหรับฐานโค้ดของพวกเขา - Oleg Klimov CEO & Founder, Refact.ai
บริษัท คารากุรี จำกัด
KARAKURI สร้างเครื่องมือ AI เพื่อปรับปรุงประสิทธิภาพของการสนับสนุนลูกค้าบนเว็บและลดความซับซ้อนให้กับประสบการณ์ของลูกค้า เครื่องมือเหล่านี้ประกอบด้วยแชทบอท AI ที่ติดตั้งฟังก์ชัน AI ช่วยสร้าง เครื่องมือรวมคำถามที่พบบ่อยไว้ในที่เดียว และเครื่องมือตอบกลับอีเมล ซึ่งทั้งหมดนี้ช่วยปรับปรุงประสิทธิภาพและคุณภาพการสนับสนุนลูกค้า เราประสบความสำเร็จในการฝึก KARAKURI LM 8x7B Chat v0.1 โดยใช้ AWS Trainium สำหรับสตาร์ทอัพ เราจำเป็นต้องเพิ่มประสิทธิภาพเวลาในการสร้างและค่าใช้จ่ายที่จำเป็นในการฝึกอบรม LLM เช่นเดียวกับเรา ด้วยการสนับสนุนของ AWS Trainium และ AWS Team เราจึงสามารถพัฒนา LLM ระดับการปฏิบัติได้ในระยะเวลาอันสั้น นอกจากนี้ เรายังสามารถสร้างบริการอนุมานที่รวดเร็วและคุ้มค่าได้อีกด้วยเมื่อใช้ AWS Inferentia เรามีพลังเกี่ยวกับ Trainium2 เพราะมันจะปฏิวัติกระบวนการฝึกอบรมของเรา ลดเวลาการฝึกอบรมของเราถึง 2 เท่า และขับขี่ประสิทธิภาพไปสู่ความสูงสุดใหม่!- โทโมฟุมิ นากายามะ ผู้ร่วมก่อตั้ง บริษัท คารากุริ อิงค์
สต็อกมาร์ค อิงค์
ด้วยพันธกิจ "การคิดค้นกลไกการสร้างมูลค่าเพิ่มและส่งเสริมมนุษยชาติใหม่" Stockmark ช่วยให้บริษัทต่าง ๆ มากมายสร้างและพัฒนาธุรกิจที่เป็นนวัตกรรมด้วยการนำเสนอเทคโนโลยีการประมวลผลภาษาธรรมชาติที่ล้ำสมัย บริการวิเคราะห์และรวบรวมข้อมูลใหม่ของ Stockmark ที่เรียกว่า Anews and SAT ซึ่งเป็นบริการจัดโครงสร้างข้อมูลที่ปรับปรุงการใช้ AI ช่วยสร้างอย่างมาก โดยการจัดระเบียบข้อมูลทุกรูปแบบที่จัดเก็บไว้ในองค์กร ทำให้เราต้องพิจารณาอีกวิธีที่เราสร้างและปรับใช้โมเดลเพื่อสนับสนุนผลิตภัณฑ์เหล่านี้ ด้วยตัวเร่ง Trainium 256 ตัว เราได้พัฒนาและเปิดตัว stockmark-13b ซึ่งเป็นโมเดลภาษาขนาดใหญ่ที่มีพารามิเตอร์ 13 พันล้านรายการ ซึ่งได้รับการฝึกล่วงหน้าตั้งแต่เริ่มต้นบนชุดข้อมูลคอร์ปัสภาษาญี่ปุ่นที่มีโทเค็น 220 พันล้านรายการ อินสแตนซ์ Trn1 ช่วยให้เราลดต้นทุนการฝึกได้ถึง 20% เมื่อใช้ประโยชน์จาก Trainium เราจึงประสบความสำเร็จในการพัฒนา LLM ซึ่งสามารถตอบคำถามสำคัญทางธุรกิจสำหรับมืออาชีพด้วยความแม่นยำและความรวดเร็วอย่างที่ไม่เคยมีมาก่อน ความสำเร็จนี้เป็นสิ่งที่โดดเด่นเป็นพิเศษเนื่องจากปัญหาที่บริษัทต่าง ๆ ต้องเผชิญในการสร้างทรัพยากรเชิงประมวลผลที่เพียงพอสำหรับการพัฒนาโมเดล ด้วยความเร็วและการลดต้นทุนที่น่าประทับใจของอินสแตนซ์ Trn1 เรารู้สึกตื่นเต้นที่ได้เห็นประโยชน์เพิ่มเติมที่ Trainium2 จะนำมาสู่เวิร์กโฟลว์และลูกค้าของเรา - Kosuke Arima CTO และผู้ร่วมก่อตั้ง Stockmark Inc.
Brave
Brave เป็นเบราว์เซอร์และเครื่องมือค้นหาอิสระสำหรับการจัดลำดับความสำคัญความเป็นส่วนตัวและความปลอดภัยของผู้ใช้โดยเฉพาะ ด้วยผู้ใช้มากกว่า 70 ล้านคน เราส่งมอบการป้องกันชั้นนำของอุตสาหกรรมที่ทำให้เว็บปลอดภัยและใช้งานง่ายขึ้น Brave ยังคงมุ่งมั่นที่จะให้ความสำคัญกับความดป็นส่วนตัว ความปลอดภัย และความสะดวกสบายเป็นอันดับแรก ซึ่งแตกต่างจากแพลตฟอร์มอื่น ๆ ที่เปลี่ยนไปจากแนวทางที่ให้ความสำคัญกับผู้ใช้เป็นหลัก ฟีเจอร์ที่สำคัญ ได้แก่ การบล็อกสคริปต์และตัวติดตามที่เป็นอันตราย ข้อมูลสรุปหน้าเว็บที่มีการช่วยเหลือจาก AI ซึ่งขับเคลื่อนโดย LLM, บริการ VPN ในตัว และอื่น ๆ อีกมากมาย เรามุ่งมั่นที่จะเพิ่มความเร็วและความคุ้มค่าของบริการค้นหาและโมเดล AI ของเราอย่างต่อเนื่อง เพื่อสนับสนุนสิ่งนี้ เรารู้สึกตื่นเต้นที่จะใช้ประโยชน์จากความสามารถล่าสุดของชิป AWS AI รวมถึง Trainium2 เพื่อปรับปรุงประสบการณ์ของผู้ใช้ในขณะที่เราปรับขนาดเพื่อจัดการกับคำค้นหาหลายพันล้านรายการต่อเดือน - Subu Sathyanarayana รองฝ่ายวิศวกรรม Brave Software
ทุกสเกล
Anyscale เป็นบริษัทที่อยู่เบื้องหลัง Ray ซึ่งเป็นเอนจินการประมวลผล AI ที่กระตุ้นให้เกิดความคิดริเริ่มด้าน ML และ AI ช่วยสร้างสำหรับองค์กร ด้วยแพลตฟอร์ม AI แบบรวมของ Anyscale ที่ขับเคลื่อนโดย RayTurbo ลูกค้าจึงได้รับการประมวลผลข้อมูลที่รวดเร็วขึ้นถึง 4.5 เท่า, การอนุมานแบบแบทช์ที่มีต้นทุนต่ำกว่าถึง 10 เท่าด้วย LLM, การปรับขนาดที่เร็วขึ้นถึง 5 เท่า, การทำซ้ำที่รวดเร็วขึ้นถึง 12 เท่า และการประหยัดค่าใช้จ่าย 50% สำหรับการอนุมานโมเดลออนไลน์โดยการเพิ่มประสิทธิภาพการใช้ทรัพยากร ที่ Anyscale เรามุ่งมั่นที่จะเพิ่มศักยภาพห้กับองค์กรด้วยเครื่องมือที่ดีที่สุดในการปรับขนาดเวิร์กโหลด AI อย่างมีประสิทธิภาพและคุ้มค่า ด้วยการรองรับชิป AWS Trainium และ Inferentia แบบเนทีฟ ซึ่งขับเคลื่อนโดยรันไทม์ RayTurbo ลูกค้าของเราจึงสามารถเข้าถึงตัวเลือกที่มีประสิทธิภาพสูงและคุ้มค่าสำหรับการฝึกและให้บริการโมเดล ตอนนี้เรารู้สึกตื่นเต้นที่จะร่วมมือกับ AWS บน Trainium2 ปลดล็อกโอกาสใหม่ให้กับลูกค้าของเราในการสร้างสรรค์สิ่งใหม่ ๆ อย่างรวดเร็ว และมอบประสบการณ์ AI ที่เปลี่ยนแปลงประสิทธิภาพสูงในระดับสูง - Robert Nishihara ผู้ร่วมก่อตั้ง Anyscale
Datadog
Datadog ซึ่งเป็นแพลตฟอร์มด้านข้อมูลการสังเกตและการรักษาความปลอดภัยสำหรับแอปพลิเคชันระบบคลาวด์ ให้บริการ AWS Trainium และ Inferentia Monitoring แก่ลูกค้าเพื่อเพิ่มประสิทธิภาพโมเดล ปรับปรุงประสิทธิภาพ และลดต้นทุน การผสานรวมของ Datadog มอบการแสดงผลอย่างเต็มรูปแบบที่เกี่ยวกับการดำเนินงาน ML และประสิทธิภาพชิปพื้นฐาน ช่วยให้สามารถแก้ไขปัญหาเชิงรุกและปรับขนาดโครงสร้างพื้นฐานได้อย่างราบรื่น เรารู้สึกตื่นเต้นที่จะขยายความร่วมมือของเรากับ AWS สำหรับการเปิดตัว AWS Trainium2 ซึ่งช่วยให้ผู้ใช้ลดต้นทุนโครงสร้างพื้นฐาน AI ได้ถึง 50% และเพิ่มประสิทธิภาพการฝึกอบรมแบบจำลองและการปรับใช้ - Yrieix Garnier รองประธานบริษัท ผลิตภัณฑ์ Datadog
Hugging Face
Hugging Face เป็นแพลตฟอร์มเปิดชั้นนำสำหรับผู้สร้าง AI โดยมีโมเดล ชุดข้อมูล และแอปพลิเคชัน AI มากกว่า 2 ล้านแบบที่แชร์โดยชุมชนนักวิจัย นักวิทยาศาสตร์ข้อมูล วิศวกรแมชชีนเลิร์นนิง และนักพัฒนาซอฟต์แวร์มากกว่า 5 ล้านคน เราได้ร่วมมือกับ AWS ในช่วงสองสามปีที่ผ่านมา ทำให้นักพัฒนาสามารถสัมผัสประสิทธิภาพและประโยชน์ด้านต้นทุนของ AWS Inferentia และ Trainium ได้ง่ายขึ้นผ่านไลบรารีโอเพนซอร์ส Optimum Neuron ซึ่งผสานรวมอยู่ในตำแหน่งข้อมูลการอนุมานของ Hugging Face และปรับให้เหมาะสมในบริการปรับใช้ด้วยตนเองสำหรับ HUGS ใหม่ของเรา ซึ่งมีให้ใช้งานใน AWS Marketplace ด้วยการเปิดตัว Trainium2 ผู้ใช้ของเราจะเข้าถึงประสิทธิภาพที่สูงขึ้นเพื่อพัฒนาและปรับใช้โมเดลได้เร็วขึ้น - Jeff Boudier หัวหน้าฝ่ายผลิตภัณฑ์ Hugging Face
สายฟ้า AI
Lightning AI ซึ่งเป็นผู้สร้าง PyTorch Lightning และ Lightning Studios มีแพลตฟอร์มการพัฒนา AI แบบครบวงจรที่ใช้งานง่ายที่สุดสำหรับ AI ระดับองค์กร Lightning มีเครื่องมือโค้ดแบบเต็มรูปแบบ แบบใช้โค้ดน้อย และแบบไม่มีโค้ดเพื่อสร้างเอเจนต์ แอปพลิเคชัน AI และโซลูชัน AI ช่วยสร้างอย่างรวดเร็ว โดยได้รับการออกแบบมาเพื่อความยืดหยุ่น ซึ่งใช้งานได้อย่างราบรื่นบนระบบคลาวด์ของคุณหรือของเราโดยใช้ประโยชน์จากความเชี่ยวชาญและการสนับสนุนของชุมชนนักพัฒนาที่แข็งแกร่งกว่า 3 ล้านคน ตอนนี้ Lightning มีการสนับสนุนสำหรับชิป AWS AI, Trainium และ Inferentia ซึ่งรวมอยู่ใน Lightning Studios และเครื่องมือโอเพนซอร์สของเรา เช่น PyTorch Lightning, Fabric และ LitServe สิ่งนี้ช่วยให้ผู้ใช้สามารถฝึกอบรมล่วงหน้า ปรับแต่ง และปรับใช้ในระดับได้อย่างราบรื่น ซึ่งจะเพิ่มประสิทธิภาพต้นทุน ความพร้อมใช้งาน และประสิทธิภาพด้วยโอเวอร์เฮดแบบสวิตช์เป็นศูนย์ และประโยชน์ด้านประสิทธิภาพและต้นทุนของ AWS AI Chips รวมถึงชิป Trainium2 รุ่นล่าสุด ซึ่งให้ประสิทธิภาพที่สูงขึ้นด้วยต้นทุนที่ต่ำกว่า - Luca Antiga, CTO, Lightning AI
Domino Data Lab
Domino จัดการอาร์ทิแฟกต์วิทยาศาสตร์ข้อมูลทั้งหมด รวมถึงโครงสร้างพื้นฐาน ข้อมูล และบริการบน AWS ในทุกสภาพแวดล้อม โดยเสริม Amazon SageMaker ด้วยความสามารถในการกำกับดูแลและการทำงานร่วมกันเพื่อสนับสนุนทีมงานวิทยาศาสตร์ข้อมูลขององค์กร Domino พร้อมใช้งานผ่าน AWS Marketplace ในรูปแบบ SaaS หรือแบบจัดการด้วยตนเอง องค์กรชั้นนำจะต้องสร้างสมดุลระหว่างความซับซ้อนทางเทคนิค ต้นทุน และการกำกับดูแล โดยต้องเชี่ยวชาญตัวเลือก AI ที่ครอบคลุม เพื่อให้ได้เปรียบทางการแข่งขัน ที่ Domino เรามุ่งมั่นที่จะให้ลูกค้าเข้าถึงเทคโนโลยีที่ล้ำสมัย ด้วยการคำนวณเป็นคอขวดสำหรับนวัตกรรมที่ก้าวหน้าอย่างมาก เราภูมิใจที่ได้ให้ลูกค้าสามารถเข้าถึงTrainium2 เพื่อให้พวกเขาสามารถฝึกอบรมและปรับใช้โมเดลที่มีประสิทธิภาพสูงขึ้น ต้นทุนต่ำกว่า และประหยัดพลังงานที่ดีขึ้น - Nick Elprin ซีอีโอและผู้ร่วมก่อตั้ง Domino Data Lab
เริ่มต้นใช้งาน
การสนับสนุน SageMaker สำหรับอินสแตนซ์ Trn2 กำลังจะมาเร็ว ๆ นี้ คุณจะสามารถฝึกโมเดลบนอินสแตนซ์ Trn2 ได้อย่างง่ายดายโดยใช้ Amazon SageMaker HyperPod ซึ่งมีคลัสเตอร์การประมวลผลที่ยืดหยุ่น ประสิทธิภาพการฝึกอบรมที่ได้รับการปรับให้เหมาะสม และการใช้ทรัพยากรการประมวลผล การสร้างเครือข่าย และหน่วยความจำพื้นฐานอย่างมีประสิทธิภาพ นอกจากนี้คุณยังสามารถปรับขนาดการปรับใช้โมเดลของคุณบนอินสแตนซ์ Trn2 ได้โดยใช้ SageMaker เพื่อจัดการโมเดลในการผลิตอย่างมีประสิทธิภาพและลดภาระในการปฏิบัติงาน
AWS Deep Learning AMIs (DLAMI) มอบโครงสร้างพื้นฐานและเครื่องมือให้แก่ผู้ปฏิบัติงานและนักวิจัยด้านดีปเลิร์นนิง (DL) เพื่อเร่ง DL บน AWS ได้ในทุกขนาด ไดร์เวอร์ AWS Neuron ได้รับการกำหนดค่าไว้ล่วงหน้าใน DLAMI เพื่อฝึกโมเดล DL ของคุณอย่างเหมาะสมที่สุดบนอินสแตนซ์ Trn2
การรองรับ DLCs สำหรับอินสแตนซ์ Trn2 กำลังจะมาในเร็ว ๆ นี้ คุณสามารถใช้คอนเทนเนอร์เหล่านี้เพื่อปรับใช้อินสแตนซ์ Trn2 ใน Amazon Elastic Kubernetes Service (Amazon EKS) ซึ่งเป็นบริการ Kubernetes ที่ได้รับการจัดการอย่างเต็มรูปแบบ และใน Amazon Elastic Container Service (Amazon ECS) ซึ่งเป็นบริการออร์เคสตราคอนเทนเนอร์ที่ได้รับการจัดการอย่างเต็มรูปแบบ นอกจากนี้ Neuron ยังมีการติดตั้งไว้ล่วงหน้าใน AWS Deep Learning Containers ด้วย หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการรันคอนเทนเนอร์บนอินสแตนซ์ Trn2 โปรดดูที่ บทช่วยสอนเกี่ยวกับคอนเทนเนอร์ Neuron
รายละเอียดผลิตภัณฑ์
|
ขนาดของอินสแตนซ์
|
มีให้ใช้งานใน EC2 UltraServers
|
ชิป Trainium2
|
หน่วยความจำเร่ง
|
vCPU
|
หน่วยความจำ (TB)
|
พื้นที่เก็บข้อมูลอินสแตนซ์ (TB)
|
แบนวิดท์เครือข่าย (Tbps)
|
แบนวิดท์ EBS (Gbps)
|
|---|---|---|---|---|---|---|---|---|
|
TRN2.3xขนาดใหญ่
|
ใช้ไม่ได้ |
1 |
96 กิกะไบต์ |
12 |
128 กิกะไบต์ |
เอสเอสดีเอ็นวีเอ็ม 1 เอ็กซ์ 470 GB
|
0.2 |
5 |
|
trn2.48xlarge
|
ใช้ไม่ได้
|
16
|
1.5 TB
|
192
|
2 TB
|
4 x 1.92 NVMe SSD
|
3.2
|
80
|
|
trn2u.48xlarge
|
มี |
16
|
1.5 TB
|
192
|
2 TB
|
4 x 1.92 NVMe SSD
|
3.2
|
80
|