อินสแตนซ์ Amazon EC2 P5

อินสแตนซ์ที่ใช้ GPU ที่มีประสิทธิภาพสูงสุดสําหรับแอปพลิเคชันดีปเลิร์นนิงและ HPC
เริ่มต้นใช้งานอินสแตนซ์ P5
สำรองสำหรับการใช้งานในอนาคต

เหตุใดจึงต้องใช้อินสแตนซ์ Amazon EC2 P5

อินสแตนซ์ Amazon Elastic Compute Cloud (Amazon EC2) P5 ขับเคลื่อนโดย NVIDIA H100 Tensor Core GPU และอินสแตนซ์ P5e ขับเคลื่อนโดย NVIDIA H200 Tensor Core GPU มอบประสิทธิภาพสูงสุดใน Amazon EC2 สำหรับดีปเลิร์นนิง (DL) และแอปพลิเคชันการประมวลผลประสิทธิภาพสูง (HPC) ซึ่งช่วยให้คุณเร่งเวลาสู่โซลูชันได้มากถึง 4 เท่าเมื่อเทียบกับอินสแตนซ์ EC2 ที่ใช้ GPU รุ่นก่อนหน้า และลดค่าใช้จ่ายในการฝึกโมเดล ML ถึง 40% อินสแตนซ์เหล่านี้ช่วยให้คุณทําซ้ำในโซลูชันของคุณเร็วขึ้นและออกสู่ตลาดเร็วขึ้น คุณสามารถใช้อินสแตนซ์ P5 และ P5e สําหรับการฝึกและการนำโมเดลภาษาขนาดใหญ่ (LLM) ที่ซับซ้อนมากขึ้นและโมเดลการแพร่กระจายที่ขับเคลื่อนโดยแอปพลิเคชันปัญญาประดิษฐ์ (AI) ช่วยสร้างที่มีความต้องการมากที่สุดไปใช้จริง แอปพลิเคชันเหล่านี้ ได้แก่ การตอบคำถาม การสร้างโค้ด การสร้างวิดีโอและรูปภาพ และการรู้จำเสียงพูด คุณยังสามารถใช้อินสแตนซ์เหล่านี้เพื่อนำแอปพลิเคชัน HPC ที่มีความต้องการสูงตามขนาดไปใช้จริงในการค้นพบทางเภสัชกรรม การวิเคราะห์แผ่นดินไหว การพยากรณ์อากาศ และการสร้างแบบจําลองทางการเงิน

อินสแตนซ์ P5 และ P5e ใช้ NVIDIA H100 และ H200 Tensor Core GPU ที่มีประสิทธิภาพ CPU ที่สูงถึง 2 เท่า หน่วยความจำระบบที่มากถึง 2 เท่า และพื้นที่เก็บข้อมูลในเครื่องที่มากถึง 4 เท่า เมื่อเทียบกับอินสแตนซ์ที่ใช้ GPU รุ่นก่อนหน้า เพื่อมอบการปรับปรุงประสิทธิภาพและประหยัดค่าใช้จ่าย ซึ่งมอบความสามารถในการขยายขนาดชั้นนําในตลาดสำหรับการฝึกการกระจายและเวิร์กโหลด HPC แบบเชื่อมแน่นด้วยเครือข่ายสูงสุด 3,200 Gbps โดยใช้ Elastic Fabric Adapter (EFAv2) รุ่นที่สอง อินสแตนซ์ P5 และ P5e ถูกนำไปใช้จริงใน Amazon EC2 UltraClusters ซึ่งช่วยปรับขนาด H100 หรือ H200 สูงสุด 20,000 GPU เพื่อส่งมอบการประมวลผลขนาดใหญ่ที่เวลาแฝงต่ำ โดยเชื่อมต่อกับเครือข่ายที่ไม่ปิดกั้นระดับเพตะบิต อินสแตนซ์ P5 และ P5e ใน EC2 UltraClusters สามารถมอบความสามารถในการประมวลผลรวมสูงสุด 20 exaflop ซึ่งมีประสิทธิภาพเทียบเท่ากับซูเปอร์คอมพิวเตอร์

อินสแตนซ์ Amazon EC2 P5

ประโยชน์

อินสแตนซ์ P5 และ P5e สามารถฝึกโมเดล AI ช่วยสร้างที่มีขนาดใหญ่พิเศษตามขนาดและมอบประสิทธิภาพสูงสุด 4 เท่าเมื่อเทียบกับอินสแตนซ์ EC2 ที่ใช้ GPU รุ่นก่อนหน้า

อินสแตนซ์ P5 และ P5e ช่วยลดเวลาฝึกและเวลาสู่โซลูชันจากสัปดาห์เหลือเพียงไม่กี่วัน ซึ่งช่วยให้คุณทําซ้ำเร็วขึ้นและออกสู่ตลาดเร็วขึ้น

อินสแตนซ์ P5 และ P5e ช่วยประหยัดค่าใช้จ่ายในการฝึก DL และโครงสร้างพื้นฐาน HPC ถึง 40% เมื่อเทียบกับอินสแตนซ์ EC2 ที่ใช้ GPU รุ่นก่อนหน้า

อินสแตนซ์ P5 และ P5e มีระบบเครือข่าย EFAv2 สูงสุด 3,200 Gbps อินสแตนซ์เหล่านี้ถูกนำไปใช้จริงใน EC2 UltraClusters และมอบความสามารถในการประมวลผลรวม 20 exaflop

คุณสมบัติ

อินสแตนซ์ P5 มี NVIDIA H100 GPU สูงสุด 8 ตัว พร้อมหน่วยความจํา GPU HBM3 สูงสุด 640 GB ต่ออินสแตนซ์ อินสแตนซ์ P5e มี NVIDIA H200 GPU สูงสุด 8 ตัว โดยมีหน่วยความจำ GPU HBM3e รวมสูงสุด 1128 GB ต่ออินสแตนซ์ อินสแตนซ์ทั้งสองรองรับการเชื่อมต่อ NVSwitch GPU สูงสุด 900 GB/s (แบนวิดท์แบบสองส่วนรวม 3.6 TB/วินาทีในแต่ละอินสแตนซ์) เพื่อให้แต่ละ GPU สามารถสื่อสารกับ GPU อื่นๆ ในอินสแตนซ์เดียวกันโดยมีเวลาแฝงแบบฮอปเดียว

NVIDIA H100 และ H200 GPU มีกลไก Transformer ใหม่ที่จัดการอย่างชาญฉลาดและเลือกแบบไดนามิกระหว่างการคํานวณ FP8 และ 16 บิต คุณสมบัตินี้ช่วยให้การฝึก DL เร็วขึ้นบน LLM เมื่อเทียบกับ GPU A100 รุ่นก่อนหน้า NVIDIA H100 และ H200 GPU มีคำสั่ง DPX ใหม่ที่เพิ่มความเร็วอัลกอริทึมการเขียนโปรแกรมแบบไดนามิกเมื่อเทียบกับ A100 GPU สําหรับเวิร์กโหลด HPC

อินสแตนซ์ P5 และ P5e มีระบบเครือข่าย EFAv2 สูงสุด 3,200 Gbps EFAv2 มอบการปรับปรุงประสิทธิภาพการสื่อสารโดยรวมถึง 50% สําหรับเวิร์กโหลดการฝึกแบบกระจาย EFAv2 ยังทํางานร่วมกับ NVIDIA GPUDirect RDMA เพื่อเปิดใช้การสื่อสาร GPU กับ GPU ที่มีเวลาแฝงต่ำระหว่างเซิร์ฟเวอร์ที่มีการบายพาสระบบปฏิบัติการ

อินสแตนซ์ P5 และ P5e รองรับระบบไฟล์ Amazon FSx สำหรับ Lustre เพื่อให้คุณเข้าถึงข้อมูลที่มีอัตราการโอนถ่ายข้อมูลหลายร้อย GB/s และ IOPS นับล้านที่จําเป็นสําหรับเวิร์กโหลด DL และ HPC ขนาดใหญ่ แต่ละอินสแตนซ์ P5 และ P5e ยังรองรับพื้นที่เก็บข้อมูล NVMe SSD ภายในสูงสุด 30 TB ช่วยให้เข้าถึงชุดข้อมูลขนาดใหญ่ได้อย่างรวดเร็ว คุณยังสามารถใช้พื้นที่เก็บข้อมูลที่คุ้มค่าแบบไม่จํากัดด้วย Amazon Simple Storage Service (Amazon S3)

คำชมเชยจากลูกค้า

นี่คือตัวอย่างบางส่วนของวิธีที่ลูกค้าและพันธมิตรบรรลุเป้าหมายทางธุรกิจด้วยอินสแตนซ์ Amazon EC2 P4

  • Anthropic

    Anthropic สร้างระบบ AI ที่เชื่อถือได้ ตีความได้ และควบคุมทิศทางได้ซึ่งจะมีโอกาสมากมายในการสร้างมูลค่าเชิงพาณิชย์และสาธารณประโยชน์

    ที่ Anthropic เรากําลังทํางานเพื่อสร้างระบบ AI ที่เชื่อถือได้ ตีความได้ และควบคุมทิศทางได้ แม้ว่าระบบ AI ขนาดใหญ่ทั่วไปในปัจจุบันจะมีประโยชน์อย่างมาก แต่ก็อาจคาดเดาไม่ได้ ไม่น่าเชื่อถือ และคลุมเครือ เป้าหมายของเราคือปรับปรุงปัญหาเหล่านี้และนำระบบไปใช้จริงในทางที่มีผู้คนเห็นว่าเป็นประโยชน์ องค์กรของเราเป็นหนึ่งในไม่กี่แห่งในโลกที่กําลังสร้างโมเดลพื้นฐานในการวิจัย DL โมเดลเหล่านี้มีความซับซ้อนสูง และเพื่อพัฒนาและฝึกโมเดลที่ทันสมัยเหล่านี้ เราจําเป็นต้องกระจายอย่างมีประสิทธิภาพให้ทั่วคลัสเตอร์ GPU ขนาดใหญ่ ในตอนนี้เราใช้อินสแตนซ์ Amazon EC2 P4 ที่หลากหลาย และเรารู้สึกตื่นเต้นกับการเปิดตัวอินสแตนซ์ P5 เราหวังว่าอินสแตนซ์ดังกล่าวจะมอบประโยชน์ด้านประสิทธิภาพต่อราคาที่ดีกว่าอินสแตนซ์ P4d อย่างเห็นได้ชัด และมีขนาดใหญ่ซึ่งจําเป็นในการสร้าง LLM รุ่นถัดไปและผลิตภัณฑ์ที่เกี่ยวข้อง

    Tom Brown ผู้ร่วมก่อตั้ง Anthropic

  • Cohere

    Cohere ผู้บุกเบิกชั้นนําด้าน AI ภาษา ช่วยส่งเสริมศักยภาพให้กับนักพัฒนาและองค์กรต่างๆ ในการสร้างผลิตภัณฑ์ที่น่าทึ่งด้วยเทคโนโลยีการประมวลผลภาษาธรรมชาติ (NLP) ชั้นนําของโลกในขณะที่รักษาความเป็นส่วนตัวและความปลอดภัยของข้อมูล

    Cohere เป็นผู้นําในการช่วยให้ทุกองค์กรใช้ประโยชน์จากพลังของ AI ภาษาในการสํารวจ สร้าง ค้นหาและดําเนินการกับข้อมูลในลักษณะที่เป็นธรรมชาติและใช้งานง่าย การนำไปใช้จริงกับหลายแพลตฟอร์มระบบคลาวด์ในสภาพแวดล้อมข้อมูลที่ดีที่สุดสําหรับลูกค้าแต่ละราย อินสแตนซ์ Amazon EC2 P5 ที่ขับเคลื่อนโดย NVIDIA H100 จะปลดปล่อยความสามารถของธุรกิจในการสร้าง เติบโต และปรับขนาดที่เร็วขึ้นด้วยพลังการประมวลผลที่ทำงานรวมกับ LLM และ AI ช่วยสร้างอันล้ำสมัยของ Cohere

    Aidan Gomez CEO Cohere

  • Hugging Face

    Hugging Face มีพันธกิจในการสร้าง ML ที่ดีเพื่อทุกคน

    ในฐานะชุมชนแบบโอเพนซอร์สที่เติบโตเร็วที่สุดในด้าน ML ตอนนี้เรามีโมเดลที่ฝึกล่วงหน้ากว่า 150,000 รายการและชุดข้อมูล 25,000 รายการบนแพลตฟอร์มของเราสําหรับ NLP คอมพิวเตอร์วิชัน ชีววิทยา การเรียนรู้แบบเสริมแรง และอื่นๆ อีกมากมาย เนื่องจากความก้าวหน้าใน LLM และ AI ช่วยสร้างเป็นสิ่งสำคัญ เราจึงทํางานร่วมกับ AWS เพื่อสร้างและมีส่วนร่วมในโมเดลแบบโอเพนซอร์สแห่งอนาคต เราเฝ้ารอที่จะใช้อินสแตนซ์ Amazon EC2 P5 ผ่าน Amazon SageMaker สำหรับ UltraClusters ด้วย EFA เพื่อเร่งการส่งมอบโมเดล AI พื้นฐานใหม่สําหรับทุกคน

    Julien Chaumond CTO และผู้ร่วมก่อตั้ง Hugging Face

รายละเอียดผลิตภัณฑ์

ขนาดของอินสแตนซ์ vCPU หน่วยความจำของอินสแตนซ์ (TiB) GPU   หน่วยความจำ GPU แบนวิดท์เครือข่าย (Gbps) GPUDirect RDMA GPU แบบ Peer to Peer พื้นที่เก็บข้อมูลอินสแตนซ์ (TB) แบนวิดท์ EBS (Gbps)
p5.48xlarge 192 2 8 H100 640 GB
HBM3		 3200 Gbps EFA ใช้ได้ NVSwitch 900 GB/วินาที 8 x 3.84 NVMe SSD 80
p5e.48xlarge 192 2 8 H200 1128 GB
HBM3e		 3200 Gbps EFA ใช้ได้ NVSwitch 900 GB/วินาที 8 x 3.84 NVMe SSD 80

เริ่มต้นใช้งานกรณีการใช้งาน ML

SageMaker คือบริการที่มีการจัดการเต็มรูปแบบซึ่งใช้ในการสร้าง การฝึก และการนำโมเดล ML ไปใช้จริง เมื่อใช้งานร่วมกับอินสแตนซ์ P5 ลูกค้าจะสามารถปรับขนาด GPU เป็นสิบ ร้อย และพันเพื่อฝึกโมเดลในทุกขนาดได้อย่างรวดเร็วโดยไม่ต้องเป็นกังวลเกี่ยวกับการตั้งค่าคลัสเตอร์และไปป์ไลน์ข้อมูล

DLAMI มอบโครงสร้างพื้นฐานและเครื่องมือต่าง ๆ ให้กับผู้ปฏิบัติงานและนักวิจัย ML เพื่อเร่ง DL ในระบบคลาวด์ในทุกขนาด Deep Learning Containers เป็น Docker Image ที่ติดตั้งล่วงหน้าด้วยเฟรมเวิร์ก DL เพื่อปรับปรุงการนำสภาพแวดล้อม ML แบบกําหนดเองไปใช้จริงโดยช่วยคุณข้ามกระบวนการที่ซับซ้อนในการสร้างและปรับสภาพแวดล้อมของคุณให้เหมาะสมตั้งแต่เริ่มต้น

หากคุณต้องการจัดการเวิร์กโหลดที่ใช้กับคอนเทนเนอร์ของคุณเองผ่านบริการควบคุมระบบคอนเทนเนอร์ คุณสามารถนำอินสแตนซ์ P5 ไปใช้จริงกับ Amazon EKS หรือ Amazon ECS

เริ่มต้นใช้งานกรณีการใช้งาน HPC

อินสแตนซ์ P5 คือแพลต์ฟอร์มที่สมบูรณ์แบบสำหรับการเรียกใช้การจำลองทางวิศวกรรม การเงินเชิงคำนวณ การวิเคราะห์แผ่นดินไหว การสร้างแบบจำลองโมเลกุล จีโนมิกส์ การเรนเดอร์ และเวิร์กโหลด HPC ที่ใช้ GPU อื่นๆ การใช้งาน HPC มักต้องการเครือข่ายที่มีประสิทธิภาพสูง การจัดเก็บที่รวดเร็ว หน่วยความจำปริมาณมาก ความสามารถในการประมวลผลสูง หรือทั้งหมดที่กล่าวมา อินสแตนซ์ P5 รองรับ EFAv2 ที่เปิดใช้แอปพลิเคชัน HPC โดยใช้ Message Passing Interface (MPI) ในการปรับขนาดเป็นหลายพัน GPU AWS Batch และ AWS ParallelCluster ช่วยให้นักพัฒนา HPC สร้างและปรับขนาดแอปพลิเคชัน HPC แบบกระจายได้อย่างรวดเร็ว

เรียนรู้เพิ่มเติม

เริ่มต้นใช้งาน AWS