ข้ามไปที่เนื้อหาหลัก

ชิป AWS AI

AWS Neuron

SDK เพื่อเพิ่มประสิทธิภาพ AI และดีปเลิร์นนิงบน AWS Trainium และ AWS Inferentia

เริ่มต้นใช้งาน AWS Neuron

AWS Neuron คืออะไร

AWS Neuron เป็น Software Development Kit (SDK) ที่ใช้ในการเรียกใช้เวิร์กโหลดด้านดีปเลิร์นนิงและ AI ช่วยสร้างบนอินสแตนซ์ Amazon Elastic Compute Cloud (Amazon EC2) ที่ขับเคลื่อนด้วย AWS Inferentia และ AWS Trainium ซึ่งประกอบด้วยคอมไพเลอร์ รันไทม์ ไลบรารีการฝึกและการอนุมาน รวมถึงเครื่องมือสำหรับนักพัฒนาเพื่อใช้ในการตรวจสอบ การทำโปรไฟล์ และการแก้ไขจุดบกพร่อง Neuron รองรับวงจรการพัฒนาแมชชีนเลิร์นนิง (ML) แบบครบวงจรที่ประกอบด้วยการสร้างและใช้งานโมเดลดีปเลิร์นนิงและ AI ซึ่งช่วยปรับประสิทธิภาพเพื่อให้ได้ประสิทธิภาพสูงสุดและต้นทุนต่ำที่สุด รวมถึงรับข้อมูลเชิงลึกเกี่ยวกับพฤติกรรมโมเดลที่ละเอียดยิ่งขึ้น
An abstract illustration of a human head silhouette filled with colorful geometric data patterns and lines, representing artificial intelligence and machine learning concepts.

การผสานรวมแบบเนทีฟเข้ากับเฟรมเวิร์กและไลบรารี ML ยอดนิยม

Neuron ผสานรวมเข้ากับ PyTorch และ JAX รวมถึงไลบรารี ML ที่จำเป็นอย่าง Hugging Face Optimum Neuron, PyTorch Lightning และ AXLearn นอกจากนี้ Neuron ยังรองรับ OpenXLA รวมถึง StableHLO และ GSPMD ซึ่งทำให้นักพัฒนา PyTorch, XLA และ JAX สามารถใช้การเพิ่มประสิทธิภาพคอมไพเลอร์ของ Neuron ให้กับ Inferentia และ Trainium ได้ Neuron ช่วยให้คุณสามารถใช้อินสแตนซ์ซึ่งใช้ Trainium และ Inferentia ร่วมกับบริการต่าง ๆ เช่น Amazon SageMaker, Amazon EKS, Amazon ECS, AWS ParallelCluster และ AWS Batch รวมถึงบริการของบริษัทภายนอก เช่น Ray (Anyscale), Domino Data Lab และ Datadog
Abstract digital illustration featuring concentric rings of pink brick-like segments on a dark blue background, representing AWS security, identity, and compliance concepts.

ไลบรารีการฝึกและการอนุมานแบบกระจายตัว

Neuron ประกอบด้วยการเพิ่มประสิทธิภาพแบบไม่ต้องตั้งค่าเพิ่มเติมสำหรับการฝึกอบรมแบบกระจายและการอนุมานกับไลบรารี PyTorch แบบโอเพนซอร์สสำหรับ NxD Training และ NxD Inference NxD Training ช่วยลดความยุ่งยากและเพิ่มประสิทธิภาพการฝึกแบบกระจายตัวที่มีขนาดใหญ่ รวมถึงรองรับสถาปัตยกรรมโมเดล กลยุทธ์การทำงานแบบคู่ขนาน และเวิร์กโฟลว์การฝึกที่หลากหลาย NxD Inference เป็นโซลูชันที่ครอบคลุมสำหรับการอนุมานโมเดลที่เหมาะสมพร้อมด้วยฟีเจอร์สำคัญ เช่น การสุ่มตัวอย่างบนอุปกรณ์, การรวมน้ำหนัก QKV, การสร้างเป็นชุดแบบต่อเนื่อง, การถอดรหัสเก็งกำไร, การสร้างบัคเก็ตแบบไดนามิก และการอนุมานแบบกระจายตัว นอกจากนี้ NxD Inference ยังผสานรวมเข้ากับโซลูชันการให้บริการอย่าง vLLM และ Hugging Face TGI ซึ่งทั้งสองมีฮับโมเดลสำหรับสถาปัตยกรรมโมเดลที่แตกต่างกัน
A vibrant abstract background featuring a pattern of colorful rectangular shapes arranged in horizontal rows, with various shades of blue, red, purple, pink, and yellow.

ความสามารถด้านวิทยาศาสตร์ประยุกต์ขั้นสูง

Neuron มีความสามารถด้านวิทยาศาสตร์ประยุกต์หลายประการเพื่อเสริมศักยภาพให้นักวิทยาศาสตร์และนักวิจัยขยายขอบเขตของการวิจัยและนวัตกรรม AI แบบโอเพนซอร์สเกี่ยวกับ Trainium และ Inferentia Neuron Kernel Interface (NKI) ช่วยให้สามารถเข้าถึงฮาร์ดแวร์เบื้องต้นและคำสั่งต่าง ๆ ที่มีใน Trainium และ Inferentia โดยตรง ช่วยให้นักวิจัยสามารถสร้างและปรับแต่งเคอร์เนลการประมวลผลเพื่อประสิทธิภาพสูงสุดได้ เป็นสภาพแวดล้อมการเขียนโปรแกรมที่ใช้ Python ซึ่งนำเอาไวยากรณ์คล้าย Triton ที่ใช้กันทั่วไปและความหมายระดับไทล์มาใช้ นักวิจัยสามารถใช้ NKI เพื่อปรับปรุงโมเดลดีปเลิร์นนิงด้วยฟังก์ชันใหม่ การเพิ่มประสิทธิภาพ และนวัตกรรมทางวิทยาศาสตร์ ตัวดำเนินการภาษา C ++ แบบกำหนดเองของ Neuron ช่วยให้นักพัฒนาสามารถขยายฟังก์ชันการทำงานของ SDK ได้ด้วยการสร้างตัวดำเนินการของตนที่ปรับให้เหมาะสมกับ Inferentia และ Trainium
Abstract illustration featuring various geometric shapes, such as triangles, circles, rectangles, and grids, in gradient pastel yellow and purple tones on a lavender background. Arrows and dotted lines add motion and connectivity, suitable for themes of application integration and creative design.

เครื่องมือสำหรับนักพัฒนาที่มีประสิทธิภาพ

AWS Neuron SDK มีชุดเครื่องมือที่ครอบคลุมเพื่อให้ข้อมูลเชิงลึกเชิงลึกเกี่ยวกับการตรวจสอบ การจัดการ และการเพิ่มประสิทธิภาพโมเดลดีปเลิร์นนิงบนอินสแตนซ์ EC2 ที่ขับเคลื่อนโดย AWS Inferentia และ Trainium ซึ่งจะมอบยูทิลิตี้อย่าง neuron-top, neuron-monitor และ Neuron Sysfs เพื่อตรวจสอบทรัพยากรฮาร์ดแวร์ การเรียกใช้โมเดล และรายละเอียดของระบบ Neuron จะช่วยลดความยุ่งยากในการตรวจสอบลงสำหรับแอปพลิเคชันที่ใส่ไว้ในคอนเทนเนอร์บน Kubernetes และ EKS ผ่านการผสานการทำงาน Amazon CloudWatch และเครื่องมือข้อมูลการสังเกตยอดนิยมอื่น ๆ เช่น Data Dog นอกจากนี้ เครื่องมือโปรไฟล์นิวรอนยังช่วยระบุและแก้ไขปัญหาการติดขัดด้านประสิทธิภาพทั้งในโหนดเดี่ยวและแอปพลิเคชันแบบกระจาย ตัว รวมถึงมอบความสามารถในการสร้างโปรไฟล์ดั้งเดิมให้กับเฟรมเวิร์ก ML ยอดนิยม
An abstract background featuring flowing, multicolored waves beneath a variety of geometric shapes (such as circles, rectangles, hexagons, and triangles) on a dark backdrop. The image visually suggests data visualization, analytics, or machine learning concepts.

เริ่มต้นใช้งาน

Neuron Deep Learning Amazon Machine Images (Neuron DLAMIs) ได้รับการกำหนดค่าล่วงหน้าที่มาพร้อม Neuron SDK, เฟรมเวิร์กยอดนิยม และไลบารีที่เป็นประโยชน์ ซึ่งช่วยให้คุณเริ่มฝึกและเรียกใช้อนุมานบน AWS Inferentia ได้อย่างรวดเร็ว Neuron DLAMIs ปรับปรุงเวิร์กโฟลว์ของคุณและเพิ่มประสิทธิภาพให้เหมาะสม โดยกำจัดความซับซ้อนในการตั้งค่าเพื่อให้คุณสามารถมุ่งเน้นไปที่การสร้างและปรับใช้โมเดล AI เริ่มต้นใช้งาน Neuron DLamis

ปรับใช้โมเดลอย่างรวดเร็วโดยใช้คอนเทนเนอร์ดีปเลิร์นนิงของ AWS Neuron (Neuron DLCs) ที่กำหนดค่าไว้ล่วงหน้าพร้อมเฟรมเวิร์กที่ได้รับการปรับให้เหมาะสมสำหรับ Trainium และ Inferentia สร้างคอนเทนเนอร์ของคุณเองและใช้ประโยชน์จากฟีเจอร์ Kubernetes สำหรับโซลูชันแบบกำหนดเอง เช่น ปลั๊กอิน Neuron Device, ส่วนขยาย Neuron Scheduler และแผนผัง Helm ผสานรวมกับบริการ AWS เช่น Amazon EKS, AWS Batch และ Amazon ECS ได้อย่างราบรื่น เพื่อการปรับใช้แบบปรับขนาดได้ เริ่มต้นใช้งาน DLCs ของนิวรอน

Optimum Neuron เชื่อมต่อตัวแปลงข้อมูล Hugging Face และ AWS Neuron SDK ซึ่งให้บริการ API มาตรฐานของ Hugging Face สำหรับ Trainium และ Inferentia โดยนำเสนอโซลูชันสำหรับการฝึกอบรมและการอนุมาน รวมถึงการสนับสนุนการฝึกและการปรับใช้โมเดลขนาดใหญ่สำหรับเวิร์กโฟลว์ AI นอกจากนี้ Optimum Neuron ช่วยลดความยุ่งยากในการใช้ Trainium และ Inferentia สำหรับ ML ด้วยการรองรับ Amazon SageMaker และคอนเทนเนอร์ดีปเลิร์นนิงแบบสำเร็จรูป การผสานรวมกันนี้ช่วยให้ผู้พัฒนาสามารถทำงานกับอินเทอร์เฟซ Hugging Face ที่คุ้นเคย ในขณะเดียวกันก็ใช้ประโยชน์จาก Trainium และ Inferentia สำหรับโปรเจกต์ที่ใช้ตัวแปลงข้อมูล เริ่มต้นใช้งาน Hugging Face Optimum Neuron

คุณสามารถใช้ Amazon SageMaker JumpStart เพื่อฝึกและใช้โมเดลโดยใช้ Neuron JumpStart รองรับการปรับแต่งและใช้โมเดลยอดนิยม เช่น กลุ่มโมเดล Llama ของ Meta เริ่มต้นใช้งาน SageMaker JumpStart