ลูกค้าของ AWS Trainium

ที่ Anthropic ผู้คนนับล้านอาศัย Claude ทุกวันในการทำงาน เรากำลังประกาศความก้าวหน้าหลักสองประการกับ AWS โดยประการแรกคือ “โหมดที่ได้รับการปรับปรุงเวลาแฝง” ใหม่สำหรับ Claude 3.5 Haiku ซึ่งทำงานได้เร็วกว่า 60% บน Trainium2 ผ่าน Amazon Bedrock และประการที่สองคือ Project Rainier ซึ่งเป็นคลัสเตอร์ใหม่ที่มีชิป Trainium2 หลายแสนชิปที่ส่งมอบ exaflops หลายร้อยตัว โดยมีขนาดใหญ่กว่าคลัสเตอร์ก่อนหน้านี้มากกว่า 5 เท่า Project Rainier จะช่วยส่งเสริมประสิทธิภาพทั้งด้านการศึกษาวิจัยและการปรับขนาดรุ่นใหม่ของเรา ซึ่งหมายถึงความชาญฉลาดที่มากขึ้น ราคาที่ต่ำลง และความเร็วที่รวดเร็วยิ่งขึ้นสำหรับลูกค้าของเรา ทั้งนี้ เราไม่เพียงสร้าง AI ที่รวดเร็วขึ้นเท่านั้น แต่เรากำลังสร้าง AI ที่น่าเชื่อถือที่ปรับขนาดได้อีกด้วย

Mosaic AI ของ Databricks ช่วยให้องค์กรต่าง ๆ สามารถสร้างและนำระบบเอเจนต์ที่มีคุณภาพมาใช้ได้ ซึ่งสร้างสร้างขึ้นบน Data Lakehouse แบบเนทีฟ ช่วยทำให้ลูกค้าสามารถปรับแต่งโมเดลได้อย่างง่ายดายและปลอดภัยโดยใช้ข้อมูลองค์กรและส่งมอบผลลัพธ์ที่แม่นยำและเฉพาะโดเมนมากขึ้น ด้วยประสิทธิภาพสูงและคุ้มค่าของTrainium ทำให้ลูกค้าสามารถปรับขนาดการฝึกโมเดลเกี่ยวกับ Mosaic AI ได้ด้วยต้นทุนที่ต่ำลง ความพร้อมใช้งานของ Trainium2 จะเป็นประโยชน์ที่สำคัญสำหรับ Databricks และลูกค้า เนื่องจากความต้องการ Mosaic AI ยังคงเพิ่มขึ้นในทุกกลุ่มลูกค้าและทั่วโลก Databricks ซึ่งเป็นหนึ่งในบริษัทข้อมูลและ AI ที่ใหญ่ที่สุดในโลก วางแผนที่จะใช้ TRN2 เพื่อส่งมอบผลลัพธ์ที่ดีขึ้นและลด TCO สูงสุดถึง 30% สำหรับลูกค้า

ที่ poolside เราตั้งใจสร้างโลกที่ AI จะช่วยขับเคลื่อนการทำงานที่มีคุณค่าทางเศรษฐกิจและความก้าวหน้าทางวิทยาศาสตร์โดยส่วนใหญ่ เราเชื่อว่าการพัฒนาซอฟต์แวร์จะเป็นความสามารถที่สำคัญอันดับแรกในนิวรัลเน็ตเวิร์กที่เข้าถึงความฉลาดระดับมนุษย์เนื่องจากเป็นโดเมนที่เราสามารถรวมวิธีการค้นหาและการเรียนรู้ได้ดีที่สุด เพื่อให้เป็นเช่นนั้น เรากำลังสร้างโมเดลพื้นฐาน, API และผู้ช่วยเพื่อนำพลังของ AI ช่วยสร้างขึ้นมาสู่มือของนักพัฒนา (หรือแป้นพิมพ์) กุญแจสำคัญในการเปิดใช้งานเทคโนโลยีนี้คือโครงสร้างพื้นฐานที่เราใช้ในการสร้างและเรียกใช้ผลิตภัณฑ์ ด้วย AWS Trainium2 ลูกค้าของเราจะสามารถปรับขนาดการใช้งาน poolside ได้ในอัตราส่วนการประเมินประสิทธิภาพต่อราคา ซึ่งแตกต่างจากตัวเร่ง AI อื่น ๆ นอกจากนี้ เรายังวางแผนที่จะฝึกโมเดลในอนาคตด้วย Trainium2 UltraServer โดยคาดว่าจะประหยัดค่าใช้จ่ายได้ถึง 40% เมื่อเทียบกับอินสแตนซ์ EC2 P5

เราได้ทดสอบ AWS Trainium และ Inferentia ในงานต่าง ๆ ตั้งแต่การอนุมานมาตรฐานไปจนถึงแอปพลิเคชันที่ผ่านการปรับแต่ง ประสิทธิภาพของชิป AI เหล่านี้ช่วยให้เราสามารถบรรลุเป้าหมายสำคัญด้านการวิจัยและพัฒนาของเราได้ สำหรับงานอนุมานทั้งแบบแบทช์และออนไลน์ เราพบว่าอัตราการโอนถ่ายข้อมูลเพิ่มขึ้น 7 เท่าเมื่อเทียบกับ GPU ประสิทธิภาพที่เพิ่มขึ้นนี้กำลังขับเคลื่อนการขยายกรณีการใช้งานมากขึ้นทั่วทั้งองค์กร ชิป Trainium2 รุ่นใหม่ล่าสุดปลดล็อกฟีเจอร์ที่ล้ำสมัยสำหรับ GenAI และเปิดประตูสู่นวัตกรรมที่ Itau

เรารู้สึกตื่นเต้นอย่างยิ่งสำหรับการเปิดตัว AWS TRN2 เพราะเราเชื่อว่าจะมอบประสิทธิภาพต้นทุนต่อโทเค็นที่ดีที่สุดและความเร็วที่เร็วที่สุดในปัจจุบันสำหรับ Ninja LLM โมเดลหลักของเราซึ่งอิงจาก Llama 3.1 405B เป็นเรื่องที่น่าทึ่งที่ได้เห็นเวลาแฝงที่ต่ำของ Trn2 ควบคู่ไปกับราคาที่แข่งขันได้และความพร้อมใช้งานตามความต้องการ ซึ่งเราตื่นเต้นกับการมาถึงของ Trn2 เป็นอย่างมาก

การย้ายไปยังอินสแตนซ์ Trn1 นั้นง่ายดายและเรียบง่าย เราสามารถฝึกพารามิเตอร์ LLM 13B ของเราล่วงหน้าได้ในเวลาเพียง 8 วัน โดยใช้คลัสเตอร์ของชิป Trainium จำนวน 4,096 ชิป! หลังจากความสำเร็จที่เราได้รับจากการใช้โมเดลขนาดเล็ก เราได้ปรับแต่ง LLM ใหม่ที่ใหญ่กว่าซึ่งใช้ Llama-3-Swallow-70B และใช้ประโยชน์จาก Trainium เราจึงสามารถลดต้นทุนการฝึกได้ 50% และปรับปรุงประสิทธิภาพการใช้พลังงาน 25% เมื่อเทียบกับการใช้เครื่อง GPU ล่าสุดใน AWS เรารู้สึกตื่นเต้นที่จะใช้ประโยชน์จากชิป AWS AI และ Trainium2 รุ่นใหม่ล่าสุดเพื่อมอบประสิทธิภาพที่ดีที่สุดให้กับลูกค้าของเราโดยมีต้นทุนที่ต่ำที่สุด

สิ่งที่ฉันชอบมากที่สุดเกี่ยวกับไลบรารี AWS Neuron NxD Inference คือวิธีการรวมเข้ากับโมเดล PyTorch ได้อย่างราบรื่น แนวทางของ NxD นั้นใช้งานง่ายและไม่ซับซ้อน ทีมงานของเราสามารถเริ่มต้นใช้งานโมเดล HuggingFace PyTorch ได้ด้วยการเปลี่ยนแปลงโค้ดให้น้อยที่สุดในกรอบเวลาอันสั้น การเปิดใช้งานฟีเจอร์ขั้นสูงเช่นการสร้างแบตช์อย่างต่อเนื่องและการถอดรหัสเก็งกำไรนั้นไม่ซับซ้อน ความสะดวกในการใช้งานนี้ช่วยเพิ่มประสิทธิภาพการทำงานของนักพัฒนา ซึ่งเปิดโอกาสให้ทีมสามารถโฟกัสที่นวัตกรรมมากขึ้นและลดปัญหาในการผสานการทำงาน

ลูกค้าได้รับประสิทธิภาพสูงขึ้นถึง 20% และโทเค็นที่สูงกว่า 1.5 เท่าต่อดอลลาร์ด้วยอินสแตนซ์ EC2 Inf2 เมื่อเทียบกับอินสแตนซ์ EC2 G5 ความสามารถในการปรับแต่งของ Refact.ai ช่วยเพิ่มความสามารถของลูกค้าในการทำความเข้าใจและปรับให้เข้ากับฐานโค้ดและสภาพแวดล้อมที่เป็นเอกลักษณ์ขององค์กร นอกจากนี้ เรายังตื่นเต้นที่จะนำเสนอความสามารถของ Trainium2 ซึ่งจะนำการประมวลผลที่รวดเร็วและมีประสิทธิภาพมากขึ้นให้กับเวิร์กโฟลว์ของเรา เทคโนโลยีขั้นสูงนี้จะช่วยให้ลูกค้าของเราสามารถเร่งความเร็วให้กับกระบวนการพัฒนาซอฟต์แวร์ได้โดยการเพิ่มประสิทธิภาพของนักพัฒนาซอฟต์แวร์ในขณะที่ยังคงรักษามาตรฐานความปลอดภัยที่เข้มงวดสำหรับฐานโค้ดของตน

KARAKURI สร้างเครื่องมือ AI เพื่อปรับปรุงประสิทธิภาพของการสนับสนุนลูกค้าบนเว็บและลดความซับซ้อนให้กับประสบการณ์ของลูกค้า เครื่องมือเหล่านี้ประกอบด้วยแชทบอท AI ที่ติดตั้งฟังก์ชัน AI ช่วยสร้าง เครื่องมือรวมคำถามที่พบบ่อยไว้ในที่เดียว และเครื่องมือตอบกลับอีเมล ซึ่งทั้งหมดนี้ช่วยปรับปรุงประสิทธิภาพและคุณภาพการสนับสนุนลูกค้า เราประสบความสำเร็จในการฝึก KARAKURI LM 8x7B Chat v0.1 โดยใช้ AWS Trainium สำหรับสตาร์ทอัพ เราจำเป็นต้องเพิ่มประสิทธิภาพเวลาในการสร้างและค่าใช้จ่ายที่จำเป็นในการฝึกอบรม LLM เช่นเดียวกับเรา ด้วยการสนับสนุนของ AWS Trainium และ AWS Team เราจึงสามารถพัฒนา LLM ระดับการปฏิบัติได้ในระยะเวลาอันสั้น นอกจากนี้ เรายังสามารถสร้างบริการอนุมานที่รวดเร็วและคุ้มค่าได้อีกด้วยเมื่อใช้ AWS Inferentia เราตื่นเต้นกับ Trainium2 เนื่องจากจะช่วยปฏิวัติกระบวนการฝึกของเรา ซึ่งลดเวลาการฝึกของเราลง 2 เท่า และเพิ่มประสิทธิภาพไปอีกขั้น!

ด้วยพันธกิจ "การคิดค้นกลไกการสร้างมูลค่าเพิ่มและส่งเสริมมนุษยชาติใหม่" Stockmark ช่วยให้บริษัทต่าง ๆ มากมายสร้างและพัฒนาธุรกิจที่เป็นนวัตกรรมด้วยการนำเสนอเทคโนโลยีการประมวลผลภาษาธรรมชาติที่ล้ำสมัย บริการวิเคราะห์และรวบรวมข้อมูลใหม่ของ Stockmark ที่เรียกว่า Anews and SAT ซึ่งเป็นบริการจัดโครงสร้างข้อมูลที่ปรับปรุงการใช้ AI ช่วยสร้างอย่างมาก โดยการจัดระเบียบข้อมูลทุกรูปแบบที่จัดเก็บไว้ในองค์กร ทำให้เราต้องพิจารณาอีกวิธีที่เราสร้างและปรับใช้โมเดลเพื่อสนับสนุนผลิตภัณฑ์เหล่านี้ ด้วยตัวเร่ง Trainium 256 ตัว เราได้พัฒนาและเปิดตัว stockmark-13b ซึ่งเป็นโมเดลภาษาขนาดใหญ่ที่มีพารามิเตอร์ 13 พันล้านรายการ ซึ่งได้รับการฝึกล่วงหน้าตั้งแต่เริ่มต้นบนชุดข้อมูลคอร์ปัสภาษาญี่ปุ่นที่มีโทเค็น 220 พันล้านรายการ อินสแตนซ์ Trn1 ช่วยให้เราลดต้นทุนการฝึกได้ถึง 20% เมื่อใช้ประโยชน์จาก Trainium เราจึงประสบความสำเร็จในการพัฒนา LLM ซึ่งสามารถตอบคำถามสำคัญทางธุรกิจสำหรับมืออาชีพด้วยความแม่นยำและความรวดเร็วอย่างที่ไม่เคยมีมาก่อน ความสำเร็จนี้เป็นสิ่งที่โดดเด่นเป็นพิเศษเนื่องจากปัญหาที่บริษัทต่าง ๆ ต้องเผชิญในการสร้างทรัพยากรเชิงประมวลผลที่เพียงพอสำหรับการพัฒนาโมเดล ด้วยความเร็วและการลดต้นทุนที่น่าประทับใจของอินสแตนซ์ Trn1 เราตื่นเต้นที่ได้รับประโยชน์เพิ่มเติมที่ Trainium2 จะนำมาสู่เวิร์กโฟลว์และลูกค้าของเรา