อินสแตนซ์ Amazon EC2 P5
อินสแตนซ์ที่ใช้ GPU ที่มีประสิทธิภาพสูงสุดสําหรับแอปพลิเคชันดีปเลิร์นนิงและ HPC
อินสแตนซ์ Amazon Elastic Compute Cloud (Amazon EC2) P5 ที่ขับเคลื่อนโดย GPU NVIDIA H100 Tensor Core รุ่นล่าสุด มอบประสิทธิภาพสูงสุดใน Amazon EC2 สําหรับแอปพลิเคชันดีปเลิร์นนิง (DL) และการประมวลผลประสิทธิภาพสูง (HPC) ซึ่งช่วยให้คุณเร่งเวลาสู่โซลูชันได้มากถึง 4 เท่าเมื่อเทียบกับอินสแตนซ์ EC2 ที่ใช้ GPU รุ่นก่อนหน้า และลดค่าใช้จ่ายในการฝึกโมเดล ML ถึง 40% อินสแตนซ์ P5 ช่วยให้คุณทําซ้ำในโซลูชันของคุณเร็วขึ้นและออกสู่ตลาดเร็วขึ้น คุณสามารถใช้อินสแตนซ์ P5 สําหรับการฝึกและกหารนำโมเดลภาษาขนาดใหญ่ (LLM) ที่ซับซ้อนมากขึ้นและโมเดลการแพร่กระจายที่ขับเคลื่อนโดยแอปพลิเคชันปัญญาประดิษฐ์ (AI) ช่วยสร้างที่มีความต้องการมากที่สุดไปใช้จริง แอปพลิเคชันเหล่านี้ ได้แก่ การตอบคำถาม การสร้างโค้ด การสร้างวิดีโอและรูปภาพ และการรู้จำเสียงพูด คุณยังสามารถใช้อินสแตนซ์ P5 เพื่อนำแอปพลิเคชัน HPC ที่มีความต้องการสูงตามขนาดไปใช้จริงในการค้นพบทางเภสัชกรรม การวิเคราะห์แผ่นดินไหว การพยากรณ์อากาศ และการสร้างแบบจําลองทางการเงิน
อินสแตนซ์ P5 ใช้ NVIDIA H100 Tensor Core GPU ที่มีประสิทธิภาพ CPU ที่สูงถึง 2 เท่า หน่วยความจำระบบที่มากถึง 2 เท่า และพื้นที่เก็บข้อมูลในเครื่องที่มากถึง 4 เท่า เมื่อเทียบกับอินสแตนซ์ที่ใช้ GPU รุ่นก่อนหน้า เพื่อมอบการปรับปรุงประสิทธิภาพและประหยัดค่าใช้จ่าย ซึ่งมอบความสามารถในการขยายขนาดชั้นนําในตลาดสำหรับการฝึกการกระจายและเวิร์กโหลด HPC แบบเชื่อมแน่นด้วยเครือข่ายสูงสุด 3,200 Gbps โดยใช้ Elastic Fabric Adapter (EFAv2) รุ่นที่สอง อินสแตนซ์ P5 ถูกนำไปใช้จริงใน Amazon EC2 UltraClusters ซึ่งช่วยปรับขนาด H100 สูงสุด 20,000 GPU เพื่อส่งมอบการประมวลผลขนาดใหญ่ที่เวลาแฝงต่ำ โดยเชื่อมต่อกับเครือข่ายที่ไม่ปิดกั้นระดับเพตะบิต อินสแตนซ์ P5 ใน EC2 UltraClusters มอบความสามารถในการประมวลผลรวมสูงสุด 20 exaflop ซึ่งมีประสิทธิภาพเทียบเท่ากับซูเปอร์คอมพิวเตอร์
จองอินสแตนซ์ P5 ตอนนี้เพื่อใช้ในอนาคต
คุณสามารถใช้ Amazon EC2 Capacity Blocks สำหรับ ML จองอินสแตนซ์ P5 ล่วงหน้านานสูงสุดถึงแปดสัปดาห์ได้ง่าย ๆ คุณสามารถจองอินสแตนซ์ P5 ได้ตั้งแต่ 1 ถึง 14 วันและในขนาดคลัสเตอร์ตั้งแต่ 1 ถึง 64 อินสแตนซ์ (512 GPU) คุณจึงมีความยืดหยุ่นในการเรียกใช้เวิร์กโหลดที่หลากหลาย
ข้อดี
ฝึกโมเดลพารามิเตอร์ 100B+ ตามขนาด
อินสแตนซ์ P5 สามารถฝึกโมเดล AI ช่วยสร้างที่มีขนาดใหญ่พิเศษตามขนาดและมอบประสิทธิภาพสูงสุด 4 เท่าเมื่อเทียบกับอินสแตนซ์ EC2 ที่ใช้ GPU รุ่นก่อนหน้า
ลดเวลาสู่โซลูชันและทําซ้ำเร็วขึ้น
อินสแตนซ์ P5 ช่วยลดเวลาฝึกและเวลาสู่โซลูชันจากสัปดาห์เหลือเพียงไม่กี่วัน ซึ่งช่วยให้คุณทําซ้ำเร็วขึ้นและออกสู่ตลาดเร็วขึ้น
ลดต้นทุนโครงสร้างพื้นฐาน DL และ HPC ของคุณ
อินสแตนซ์ P5 ช่วยประหยัดค่าใช้จ่ายในการฝึก DL และโครงสร้างพื้นฐาน HPC ถึง 40% เมื่อเทียบกับอินสแตนซ์ EC2 ที่ใช้ GPU รุ่นก่อนหน้า
เรียกใช้การฝึกแบบกระจายและ HPC ด้วยการประมวลผล Exascale
อินสแตนซ์ P5 มีระบบเครือข่าย EFAv2 สูงสุด 3,200 Gbps อินสแตนซ์เหล่านี้ถูกนำไปใช้จริงใน EC2 UltraClusters และมอบความสามารถในการประมวลผลรวม 20 exaflop
คุณสมบัติ
NVIDIA H100 Tensor Core GPU
อินสแตนซ์ P5 มี NVIDIA H100 GPU สูงสุด 8 ตัว พร้อมหน่วยความจํา GPU HBM3 สูงสุด 640 GB ต่ออินสแตนซ์ อินสแตนซ์ P5 รองรับการเชื่อมต่อ NVSwitch GPU สูงสุด 900 GB/s (แบนวิดท์แบบสองส่วนรวม 3.6 TB/วินาทีในแต่ละอินสแตนซ์) เพื่อให้แต่ละ GPU สามารถสื่อสารกับ GPU อื่นๆ ในอินสแตนซ์เดียวกันโดยมีเวลาแฝงแบบฮอปเดียว
คำสั่งกลไก Transformer และ DPX ใหม่
NVIDIA H100 GPU มีกลไก Transformer ใหม่ที่จัดการอย่างชาญฉลาดและเลือกแบบไดนามิกระหว่างการคํานวณ FP8 และ 16 บิต คุณสมบัตินี้ช่วยให้การฝึก DL เร็วขึ้นบน LLM เมื่อเทียบกับ GPU A100 รุ่นก่อนหน้า NVIDIA H100 GPU มีคำสั่ง DPX ใหม่ที่เพิ่มความเร็วอัลกอริธึมการเขียนโปรแกรมแบบไดนามิกเมื่อเทียบกับ A100 GPU สําหรับเวิร์กโหลด HPC
ระบบเครือข่ายประสิทธิภาพสูง
อินสแตนซ์ P5 มีระบบเครือข่าย EFAv2 สูงสุด 3,200 Gbps EFAv2 มอบการปรับปรุงประสิทธิภาพการสื่อสารโดยรวมถึง 50% สําหรับเวิร์กโหลดการฝึกแบบกระจาย EFAv2 ยังทํางานร่วมกับ NVIDIA GPUDirect RDMA เพื่อเปิดใช้การสื่อสาร GPU กับ GPU ที่มีเวลาแฝงต่ำระหว่างเซิร์ฟเวอร์ที่มีการบายพาสระบบปฏิบัติการ
พื้นที่เก็บข้อมูลประสิทธิภาพสูง
อินสแตนซ์ P5 รองรับระบบไฟล์ Amazon FSx สำหรับ Lustre เพื่อให้คุณเข้าถึงข้อมูลที่มีอัตราการโอนถ่ายข้อมูลหลายร้อย GB/s และ IOPS นับล้านที่จําเป็นสําหรับเวิร์กโหลด DL และ HPC ขนาดใหญ่ แต่ละอินสแตนซ์ P5 ยังรองรับพื้นที่เก็บข้อมูล NVMe SSD ภายในสูงสุด 30 TB ช่วยให้เข้าถึงชุดข้อมูลขนาดใหญ่ได้อย่างรวดเร็ว คุณยังสามารถใช้พื้นที่เก็บข้อมูลที่คุ้มค่าแบบไม่จํากัดด้วย Amazon Simple Storage Service (Amazon S3)
EC2 UltraClusters รุ่นที่สอง
อินสแตนซ์ P5 ถูกนำไปใช้จริงใน EC2 UltraClusters รุ่นที่สอง ซึ่งมีโครงสร้างเครือข่ายที่ช่วยให้ปรับขนาดได้มากขึ้น การเคลื่อนย้ายผ่านเครือข่ายที่น้อยลงข้ามคลัสเตอร์ และเวลาแฝงต่ำกว่าเมื่อเทียบกับ UltraClusters รุ่นก่อนหน้า อินสแตนซ์ P5 ใน UltraClusters สามารถขยายขนาด H100 ที่เชื่อมต่อกับเครือข่ายระดับเพตะบิตสูงสุด 20,000 GPU และมอบความสามารถในการประมวลผลรวม 20 exaflop
การผสานรวมกับบริการของ AWS อื่นๆ อย่างราบรื่น
อินสแตนซ์ P5 สามารถนำไปใช้จริงโดยใช้ AWS Deep Learning AMI (DLAMI) และ AWS Deep Learning Containers ซึ่งมีให้บริการผ่านบริการที่มีการจัดการ เช่น Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS Batch และอื่นๆ อีกมากมาย
เรื่องราวของลูกค้า
Anthropic สร้างระบบ AI ที่เชื่อถือได้ ตีความได้ และควบคุมทิศทางได้ซึ่งจะมีโอกาสมากมายในการสร้างมูลค่าเชิงพาณิชย์และสาธารณประโยชน์
"ที่ Anthropic เรากําลังทํางานเพื่อสร้างระบบ AI ที่เชื่อถือได้ ตีความได้ และควบคุมทิศทางได้ แม้ว่าระบบ AI ขนาดใหญ่ทั่วไปในปัจจุบันจะมีประโยชน์อย่างมาก แต่ก็อาจคาดเดาไม่ได้ ไม่น่าเชื่อถือ และคลุมเครือ เป้าหมายของเราคือปรับปรุงปัญหาเหล่านี้และนำระบบไปใช้จริงในทางที่มีผู้คนเห็นว่าเป็นประโยชน์ องค์กรของเราเป็นหนึ่งในไม่กี่แห่งในโลกที่กําลังสร้างโมเดลพื้นฐานในการวิจัย DL โมเดลเหล่านี้มีความซับซ้อนสูง และเพื่อพัฒนาและฝึกโมเดลที่ทันสมัยเหล่านี้ เราจําเป็นต้องกระจายอย่างมีประสิทธิภาพให้ทั่วคลัสเตอร์ GPU ขนาดใหญ่ ในตอนนี้เราใช้อินสแตนซ์ Amazon EC2 P4 ที่หลากหลาย และเรารู้สึกตื่นเต้นกับการเปิดตัวอินสแตนซ์ P5 เราหวังว่าอินสแตนซ์ดังกล่าวจะมอบประโยชน์ด้านประสิทธิภาพต่อราคาที่ดีกว่าอินสแตนซ์ P4d อย่างเห็นได้ชัด และมีขนาดใหญ่ซึ่งจําเป็นในการสร้าง LLM รุ่นถัดไปและผลิตภัณฑ์ที่เกี่ยวข้อง"
Tom Brown ผู้ร่วมก่อตั้ง Anthropic
Cohere ผู้บุกเบิกชั้นนําด้าน AI ภาษา ช่วยส่งเสริมศักยภาพให้กับนักพัฒนาและองค์กรต่างๆ ในการสร้างผลิตภัณฑ์ที่น่าทึ่งด้วยเทคโนโลยีการประมวลผลภาษาธรรมชาติ (NLP) ชั้นนําของโลกในขณะที่รักษาความเป็นส่วนตัวและความปลอดภัยของข้อมูล
"Cohere เป็นผู้นําในการช่วยให้ทุกองค์กรใช้ประโยชน์จากพลังของ AI ภาษาในการสํารวจ สร้าง ค้นหาและดําเนินการกับข้อมูลในลักษณะที่เป็นธรรมชาติและใช้งานง่าย การนำไปใช้จริงกับหลายแพลตฟอร์มระบบคลาวด์ในสภาพแวดล้อมข้อมูลที่ดีที่สุดสําหรับลูกค้าแต่ละราย อินสแตนซ์ Amazon EC2 P5 ที่ขับเคลื่อนโดย NVIDIA H100 จะปลดปล่อยความสามารถของธุรกิจในการสร้าง เติบโต และปรับขนาดที่เร็วขึ้นด้วยพลังการประมวลผลที่ทำงานรวมกับ LLM และ AI ช่วยสร้างอันล้ำสมัยของ Cohere"
Aidan Gomez CEO Cohere
Hugging Face มีพันธกิจในการสร้าง ML ที่ดีเพื่อทุกคน
"ในฐานะชุมชนแบบโอเพนซอร์สที่เติบโตเร็วที่สุดในด้าน ML ตอนนี้เรามีโมเดลที่ฝึกล่วงหน้ากว่า 150,000 รายการและชุดข้อมูล 25,000 รายการบนแพลตฟอร์มของเราสําหรับ NLP คอมพิวเตอร์วิชัน ชีววิทยา การเรียนรู้แบบเสริมแรง และอื่นๆ อีกมากมาย เนื่องจากความก้าวหน้าใน LLM และ AI ช่วยสร้างเป็นสิ่งสำคัญ เราจึงทํางานร่วมกับ AWS เพื่อสร้างและมีส่วนร่วมในโมเดลแบบโอเพนซอร์สแห่งอนาคต เราเฝ้ารอที่จะใช้อินสแตนซ์ Amazon EC2 P5 ผ่าน Amazon SageMaker สำหรับ UltraClusters ด้วย EFA เพื่อเร่งการส่งมอบโมเดล AI พื้นฐานใหม่สําหรับทุกคน"
Julien Chaumond CTO และผู้ร่วมก่อตั้ง Hugging Face
รายละเอียดผลิตภัณฑ์
| ขนาดของอินสแตนซ์ | vCPU | หน่วยความจำของอินสแตนซ์ (TiB) | GPU - H100 | หน่วยความจำ GPU | แบนวิดท์เครือข่าย | GPUDirectRDMA | GPU แบบ Peer to Peer | พื้นที่เก็บข้อมูลอินสแตนซ์ (TB) | แบนวิดท์ EBS (Gbps) |
p5.48xlarge |
192 |
2 |
8 |
HBM3 640 GB |
3200 Gbps EFAv2 |
ใช้ได้ |
NVSwitch 900 GB/วินาที |
8 x 3.84 NVMe SSD |
80 |
*ค่าบริการที่แสดงนี้สำหรับ Linux/Unix ใน AWS Region สหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียฝั่งเหนือ) และปัดเศษเป็นเซนต์ สำหรับรายละเอียดค่าบริการทั้งหมด โปรดดูหน้าค่าบริการ Amazon EC2
การเริ่มต้นใช้งานอินสแตนซ์ P5 สําหรับ ML
การใช้ SageMaker
Amazon SageMaker คือบริการที่มีการจัดการเต็มรูปแบบซึ่งใช้ในการสร้าง การฝึก และการนำโมเดล ML ไปใช้จริง เมื่อใช้งานร่วมกับอินสแตนซ์ P5 ลูกค้าจะสามารถปรับขนาด GPU เป็นสิบ ร้อย และพันเพื่อฝึกโมเดลในทุกขนาดได้อย่างรวดเร็วโดยไม่ต้องเป็นกังวลเกี่ยวกับการตั้งค่าคลัสเตอร์และไปป์ไลน์ข้อมูล
การใช้ DLAMI หรือ Deep Learning Containers
DLAMI มอบโครงสร้างพื้นฐานและเครื่องมือต่างๆ ให้กับผู้ปฏิบัติงานและนักวิจัย ML เพื่อเร่ง DL ในระบบคลาวด์ในทุกขนาด Deep Learning Containers เป็น Docker Image ที่ติดตั้งล่วงหน้าด้วยเฟรมเวิร์ก DL เพื่อปรับปรุงการนำสภาพแวดล้อม ML แบบกําหนดเองไปใช้จริงโดยช่วยคุณข้ามกระบวนการที่ซับซ้อนในการสร้างและปรับสภาพแวดล้อมของคุณให้เหมาะสมตั้งแต่เริ่มต้น
การใช้ Amazon EKS หรือ Amazon ECS
หากคุณต้องการจัดการเวิร์กโหลดที่ใช้กับคอนเทนเนอร์ของคุณเองผ่านบริการควบคุมระบบคอนเทนเนอร์ คุณสามารถนำอินสแตนซ์ P5 ไปใช้จริงกับ Amazon EKS หรือ Amazon ECS
การเริ่มต้นใช้งานอินสแตนซ์ P5 สําหรับ HPC
อินสแตนซ์ P5 คือแพลต์ฟอร์มที่สมบูรณ์แบบสำหรับการเรียกใช้การจำลองทางวิศวกรรม การเงินเชิงคำนวณ การวิเคราะห์แผ่นดินไหว การสร้างแบบจำลองโมเลกุล จีโนมิกส์ การเรนเดอร์ และเวิร์กโหลด HPC ที่ใช้ GPU อื่นๆ การใช้งาน HPC มักต้องการเครือข่ายที่มีประสิทธิภาพสูง การจัดเก็บที่รวดเร็ว หน่วยความจำปริมาณมาก ความสามารถในการประมวลผลสูง หรือทั้งหมดที่กล่าวมา อินสแตนซ์ P5 รองรับ EFAv2 ที่เปิดใช้แอปพลิเคชัน HPC โดยใช้ Message Passing Interface (MPI) ในการปรับขนาดเป็นหลายพัน GPU AWS Batch และ AWS ParallelCluster ช่วยให้นักพัฒนา HPC สร้างและปรับขนาดแอปพลิเคชัน HPC แบบกระจายได้อย่างรวดเร็ว
เรียนรู้เพิ่มเติม »
