เหตุใดจึงต้องใช้อินสแตนซ์ Amazon EC2 P5
อินสแตนซ์ Amazon Elastic Compute Cloud (Amazon EC2) P5 ขับเคลื่อนโดย NVIDIA H100 Tensor Core GPU และอินสแตนซ์ P5e ขับเคลื่อนโดย NVIDIA H200 Tensor Core GPU มอบประสิทธิภาพสูงสุดใน Amazon EC2 สำหรับดีปเลิร์นนิง (DL) และแอปพลิเคชันการประมวลผลประสิทธิภาพสูง (HPC) ซึ่งช่วยให้คุณเร่งเวลาสู่โซลูชันได้มากถึง 4 เท่าเมื่อเทียบกับอินสแตนซ์ EC2 ที่ใช้ GPU รุ่นก่อนหน้า และลดค่าใช้จ่ายในการฝึกโมเดล ML ถึง 40% อินสแตนซ์เหล่านี้ช่วยให้คุณทําซ้ำในโซลูชันของคุณเร็วขึ้นและออกสู่ตลาดเร็วขึ้น คุณสามารถใช้อินสแตนซ์ P5 และ P5e สําหรับการฝึกและการนำโมเดลภาษาขนาดใหญ่ (LLM) ที่ซับซ้อนมากขึ้นและโมเดลการแพร่กระจายที่ขับเคลื่อนโดยแอปพลิเคชันปัญญาประดิษฐ์ (AI) ช่วยสร้างที่มีความต้องการมากที่สุดไปใช้จริง แอปพลิเคชันเหล่านี้ ได้แก่ การตอบคำถาม การสร้างโค้ด การสร้างวิดีโอและรูปภาพ และการรู้จำเสียงพูด คุณยังสามารถใช้อินสแตนซ์เหล่านี้เพื่อนำแอปพลิเคชัน HPC ที่มีความต้องการสูงตามขนาดไปใช้จริงในการค้นพบทางเภสัชกรรม การวิเคราะห์แผ่นดินไหว การพยากรณ์อากาศ และการสร้างแบบจําลองทางการเงิน
อินสแตนซ์ P5 และ P5e ใช้ NVIDIA H100 และ H200 Tensor Core GPU ที่มีประสิทธิภาพ CPU ที่สูงถึง 2 เท่า หน่วยความจำระบบที่มากถึง 2 เท่า และพื้นที่เก็บข้อมูลในเครื่องที่มากถึง 4 เท่า เมื่อเทียบกับอินสแตนซ์ที่ใช้ GPU รุ่นก่อนหน้า เพื่อมอบการปรับปรุงประสิทธิภาพและประหยัดค่าใช้จ่าย ซึ่งมอบความสามารถในการขยายขนาดชั้นนําในตลาดสำหรับการฝึกการกระจายและเวิร์กโหลด HPC แบบเชื่อมแน่นด้วยเครือข่ายสูงสุด 3,200 Gbps โดยใช้ Elastic Fabric Adapter (EFAv2) รุ่นที่สอง อินสแตนซ์ P5 และ P5e ถูกนำไปใช้จริงใน Amazon EC2 UltraClusters ซึ่งช่วยปรับขนาด H100 หรือ H200 สูงสุด 20,000 GPU เพื่อส่งมอบการประมวลผลขนาดใหญ่ที่เวลาแฝงต่ำ โดยเชื่อมต่อกับเครือข่ายที่ไม่ปิดกั้นระดับเพตะบิต อินสแตนซ์ P5 และ P5e ใน EC2 UltraClusters สามารถมอบความสามารถในการประมวลผลรวมสูงสุด 20 exaflop ซึ่งมีประสิทธิภาพเทียบเท่ากับซูเปอร์คอมพิวเตอร์
อินสแตนซ์ Amazon EC2 P5
ประโยชน์
คุณสมบัติ
คำชมเชยจากลูกค้า
นี่คือตัวอย่างบางส่วนของวิธีที่ลูกค้าและพันธมิตรบรรลุเป้าหมายทางธุรกิจด้วยอินสแตนซ์ Amazon EC2 P4
-
Anthropic
Anthropic สร้างระบบ AI ที่เชื่อถือได้ ตีความได้ และควบคุมทิศทางได้ซึ่งจะมีโอกาสมากมายในการสร้างมูลค่าเชิงพาณิชย์และสาธารณประโยชน์
-
Cohere
Cohere ผู้บุกเบิกชั้นนําด้าน AI ภาษา ช่วยส่งเสริมศักยภาพให้กับนักพัฒนาและองค์กรต่างๆ ในการสร้างผลิตภัณฑ์ที่น่าทึ่งด้วยเทคโนโลยีการประมวลผลภาษาธรรมชาติ (NLP) ชั้นนําของโลกในขณะที่รักษาความเป็นส่วนตัวและความปลอดภัยของข้อมูล
-
Hugging Face
Hugging Face มีพันธกิจในการสร้าง ML ที่ดีเพื่อทุกคน
รายละเอียดผลิตภัณฑ์
ขนาดของอินสแตนซ์ | vCPU | หน่วยความจำของอินสแตนซ์ (TiB) | GPU | หน่วยความจำ GPU | แบนวิดท์เครือข่าย (Gbps) | GPUDirect RDMA | GPU แบบ Peer to Peer | พื้นที่เก็บข้อมูลอินสแตนซ์ (TB) | แบนวิดท์ EBS (Gbps) |
---|---|---|---|---|---|---|---|---|---|
p5.48xlarge | 192 | 2 | 8 H100 | 640 GB HBM3 |
3200 Gbps EFA | ใช้ได้ | NVSwitch 900 GB/วินาที | 8 x 3.84 NVMe SSD | 80 |
p5e.48xlarge | 192 | 2 | 8 H200 | 1128 GB HBM3e |
3200 Gbps EFA | ใช้ได้ | NVSwitch 900 GB/วินาที | 8 x 3.84 NVMe SSD | 80 |