Instans P5 Amazon EC2

Instans berbasis GPU dengan performa tertinggi untuk deep learning dan aplikasi HPC

Mengapa harus Instans P5 Amazon EC2?

Instans P5 Amazon Elastic Compute Cloud (Amazon EC2), didukung oleh GPU NVIDIA H100 Tensor Core, serta instans P5e dan P5en yang didukung oleh GPU NVIDIA H200 Tensor Core memberikan performa tertinggi di Amazon EC2 untuk aplikasi deep learning (DL) dan komputasi performa tinggi (HPC). Instans tersebut membantu Anda mempercepat waktu penyelesaian hingga 4x lipat dibandingkan instans EC2 berbasis GPU generasi sebelumnya dan mengurangi biaya untuk melatih model ML hingga 40%. Instans ini membantu Anda mengiterasi solusi Anda dengan lebih cepat dan memasuki pasar dengan lebih cepat. Anda dapat menggunakan instans P5, P5e, dan P5en untuk melatih dan melakukan deployment model bahasa besar (LLM) yang semakin kompleks serta model difusi yang mendukung aplikasi kecerdasan buatan (AI) generatif yang paling menuntut. Aplikasi ini termasuk penjawab pertanyaan, pembuatan kode, pembuatan video dan gambar, serta pengenalan suara. Anda juga dapat menggunakan instans ini untuk melakukan deployment aplikasi HPC yang menuntut dalam skala besar untuk penemuan farmasi, analisis seismik, prakiraan cuaca, dan pemodelan keuangan.

Untuk memberikan peningkatan performa dan penghematan biaya ini, instans P5 dan P5e melengkapi GPU NVIDIA P5e Tensor Core dengan performa CPU H100 dan H200 2x lebih tinggi, memori sistem 2x lebih tinggi, dan penyimpanan lokal 4x lebih tinggi dibandingkan instans berbasis GPU generasi sebelumnya. Instans P5en memasangkan GPU NVIDIA H200 Tensor Core dengan CPU Intel Sapphire Rapids performa tinggi, yang mengaktifkan PCIe Gen5 antara CPU dan GPU. Instans P5en menyediakan bandwidth hingga 4x antara CPU dan GPU serta latensi jaringan yang lebih rendah dibandingkan dengan instans P5e dan P5 sehingga meningkatkan performa pelatihan terdistribusi. Dukungan instans P5 dan P5e menyediakan jaringan hingga 3.200 Gbps menggunakan Elastic Fabric Adapter (EFA) generasi kedua. P5en, dengan EFA generasi ketiga yang menggunakan Nitro v5, menunjukkan perbaikan latensi hingga 35% dibandingkan dengan P5 yang menggunakan generasi sebelumnya dari EFA dan Nitro. Hal ini membantu meningkatkan performa komunikasi kolektif untuk beban kerja pelatihan terdistribusi seperti deep learning, AI generatif, pemrosesan data waktu nyata, dan aplikasi komputasi performa tinggi (HPC). Untuk memberikan komputasi skala besar pada latensi rendah, instans ini di-deploy di Amazon EC2 UltraClusters yang memungkinkan penskalaan hingga 20.000 GPU H100 atau H200 yang saling terhubung dengan jaringan nonpemblokiran skala petabit. Instans P5, P5e, dan P5en di EC2 UltraClusters dapat memberikan kemampuan komputasi agregat hingga 20 exaflop—performa yang setara dengan superkomputer.

Instans P5 Amazon EC2

Manfaat

Fitur

Testimoni pelanggan

Berikut adalah beberapa contoh cara pelanggan dan partner dalam mencapai tujuan bisnis mereka dengan instans P4 Amazon EC2.

  • Anthropic

    Anthropic membangun sistem AI yang andal, dapat diinterpretasikan, dan dapat diarahkan yang akan banyak peluang untuk menciptakan nilai secara komersial dan bermanfaat bagi publik.

    Di Anthropic, kami berupaya membangun sistem AI yang andal, dapat diinterpretasikan, dan dapat diarahkan. Meskipun sistem AI umum yang besar saat ini dapat memberikan manfaat yang signifikan, sistem tersebut juga tidak dapat diprediksi, tidak dapat diandalkan, dan tidak jelas. Tujuan kami adalah mencapai kemajuan dalam permasalahan ini dan melakukan deployment sistem yang bermanfaat bagi banyak orang. Organisasi kami adalah salah satu dari sedikit organisasi di dunia yang membangun model dasar dalam penelitian DL. Model-model ini sangat kompleks, dan untuk mengembangkan serta melatih model mutakhir ini, kami perlu mendistribusikannya secara efisien ke seluruh klaster GPU yang besar. Kami menggunakan instans P4 Amazon EC2 secara ekstensif saat ini, dan kami menyambut baik peluncuran instans P5. Kami berharap instans tersebut dapat memberikan keuntungan performa harga yang besar dibandingkan instans P4d, dan akan tersedia dalam skala besar yang diperlukan untuk membangun LLM generasi berikutnya serta produk terkait.

    Tom Brown, Rekan Pendiri, Anthropic
  • Cohere

    Cohere, pelopor terkemuka dalam AI bahasa, mendorong setiap developer dan perusahaan untuk menciptakan produk luar biasa dengan teknologi pemrosesan bahasa alami (NLP) terdepan di dunia sekaligus menjaga privasi dan keamanan data mereka.

    Cohere memimpin langkah dalam membantu setiap korporasi memanfaatkan kekuatan AI bahasa untuk mengeksplorasi, menghasilkan, mencari, dan bertindak berdasarkan informasi secara alami serta intuitif dengan men-deploy di banyak platform cloud dalam lingkungan data yang paling sesuai dengan setiap pelanggan. Instans P5 Amazon EC2 yang didukung NVIDIA H100 akan memberikan kemampuan bisnis untuk menciptakan, berkembang, dan melakukan penskalaan lebih cepat dengan kekuatan komputasinya yang dikombinasikan dengan kemampuan LLM dan AI generatif mutakhir dari Cohere.

    Aidan Gomez, CEO, Cohere
  • Hugging Face

    Hugging Face memiliki misi untuk mendemokratisasi ML yang baik.

    Sebagai komunitas sumber terbuka untuk ML dengan pertumbuhan tercepat, kami saat ini menyediakan lebih dari 150.000 model pralatih dan 25.000 set data di platform kami untuk NLP, penglihatan komputer, biologi, pembelajaran penguatan, dan banyak lagi. Dengan kemajuan signifikan dalam LLM dan AI generatif, kami bekerja sama dengan AWS untuk membangun dan menyumbangkan model sumber terbuka masa depan. Kami tidak sabar untuk menggunakan instans P5 Amazon EC2 melalui Amazon SageMaker dalam skala besar di UltraClusters dengan EFA untuk mempercepat pengiriman model AI fondasi baru bagi semua orang.

    Julien Chaumond, CTO dan Rekan Pendiri, Hugging Face

Detail produk

Ukuran Instans vCPU Memori Instans (TiB) GPU   Memori GPU Bandwidth Jaringan (Gbps) GPUDirect RDMA Peer to Peer GPU Penyimpanan Instans (TB) Bandwidth EBS (Gbps)
p5.48xlarge 192 2 8 H100 640 GB
HBM3
EFA 3.200 Gbps Ya 900 GB/s NVSwitch 8 x 3.84 NVMe SSD 80
p5e.48xlarge 192 2 8 H200 1.128 GB
HBM3e
EFA 3.200 Gbps Ya 900 GB/s NVSwitch 8 x 3.84 NVMe SSD 80
p5en.48xlarge 192 2 8 H200 HBM3e 1128 GB EFA 3.200 Gbps Ya 900 GB/s NVSwitch 8 x 3.84 NVMe SSD 100

Memulai kasus penggunaan ML

Memulai kasus penggunaan HPC

Instans P5, P5e, dan P5en adalah platform yang ideal untuk menjalankan simulasi rekayasa, keuangan komputasional, analisis seismik, pemodelan molekul, genomika, rendering, dan beban kerja HPC berbasis GPU lainnya. Aplikasi HPC sering kali memerlukan performa jaringan yang tinggi, penyimpanan cepat, memori dalam jumlah besar, kemampuan komputasi tinggi, atau semua yang disebutkan di atas. Ketiga tipe instans mendukung EFA yang memungkinkan aplikasi HPC menggunakan Message Passing Interface (MPI) untuk menskalakan hingga ribuan GPU. AWS Batch dan AWS ParallelCluster memungkinkan developer HPC membangun dan menskalakan aplikasi HPC terdistribusi dengan cepat.

Pelajari selengkapnya