Instans P5 Amazon EC2
Instans berbasis GPU dengan performa tertinggi untuk deep learning dan aplikasi HPC
Instans P5 Amazon Elastic Compute Cloud (Amazon EC2) ditenagai oleh GPU NVIDIA H100 Tensor Core terbaru, yang memberikan performa tertinggi di Amazon EC2 untuk aplikasi deep learning (DL) dan komputasi performa tinggi (HPC). Instans tersebut membantu Anda mempercepat waktu penyelesaian hingga 4x lipat dibandingkan instans EC2 berbasis GPU generasi sebelumnya dan mengurangi biaya untuk melatih model ML hingga 40%. Instans P5 membantu Anda mengiterasi solusi Anda dengan lebih cepat dan memasuki pasar dengan lebih cepat. Anda dapat menggunakan instans P5 untuk melatih dan melakukan deployment model bahasa besar (LLM) yang semakin kompleks dan model difusi yang mendukung aplikasi kecerdasan buatan (AI) generatif yang paling menuntut. Aplikasi ini termasuk penjawab pertanyaan, pembuatan kode, pembuatan video dan gambar, serta pengenalan suara. Anda juga dapat menggunakan instans P5 untuk melakukan deployment aplikasi HPC yang menuntut dalam skala besar untuk penemuan farmasi, analisis seismik, prakiraan cuaca, dan pemodelan keuangan.
Untuk memberikan peningkatan performa dan penghematan biaya ini, instans P5 melengkapi GPU NVIDIA H100 Tensor Core dengan performa CPU 2x lebih tinggi, memori sistem 2x lebih tinggi, dan penyimpanan lokal 4x lebih tinggi dibandingkan instans berbasis GPU generasi sebelumnya. Instans ini memberikan kemampuan penskalaan ke luar terdepan di pasar untuk pelatihan terdistribusi dan beban kerja HPC yang digabungkan secara erat dengan jaringan hingga 3.200 Gbps menggunakan Elastic Fabric Adapter (EFAv2) generasi kedua. Untuk menghadirkan komputasi skala besar dengan latensi rendah, instans P5 di-deploy di Amazon EC2 UltraClusters yang memungkinkan penskalaan hingga 20.000 GPU H100. Instans ini saling terhubung dengan jaringan non-pemblokiran berskala petabita. Instans P5 di EC2 UltraClusters menghadirkan kemampuan komputasi agregat hingga 20 exaflop—performa yang setara dengan superkomputer.
Pesan instans P5 sekarang untuk penggunaan pada masa mendatang
Dengan Blok Kapasitas Amazon EC2 untuk ML, pesan instans P5 dengan mudah hingga delapan minggu sebelumnya. Anda dapat memesan instans P5 untuk durasi satu hingga 14 hari dan dalam ukuran klaster dari satu hingga 64 instans (512 GPU), yang memberikan fleksibilitas untuk menjalankan berbagai beban kerja.
Manfaat
Melatih lebih dari 100 Miliar model parameter dalam skala besar
Instans P5 dapat melatih model AI generatif ultra-besar dalam skala besar dan memberikan performa hingga 4x lebih baik dibandingkan instans EC2 berbasis GPU generasi sebelumnya.
Mengurangi waktu untuk penyelesaian dan mengiterasi lebih cepat
Instans P5 mengurangi waktu pelatihan dan waktu penyelesaian dari berminggu-minggu menjadi hanya beberapa hari. Instans ini membantu Anda melakukan iterasi dengan lebih cepat dan memasuki pasar dengan lebih cepat.
Turunkan biaya infrastruktur DL dan HPC Anda
Instans P5 memberikan penghematan hingga 40% pada pelatihan DL dan biaya infrastruktur HPC dibandingkan dengan instans EC2 berbasis GPU generasi sebelumnya.
Jalankan pelatihan terdistribusi dan HPC dengan komputasi exascale
Instans P5 menyediakan jaringan EFAv2 hingga 3.200 Gbps. Instans ini di-deploy di EC2 UltraClusters dan memberikan 20 exaflop kemampuan komputasi agregat.
Fitur
GPU NVIDIA H100 Tensor Core
Instans P5 menyediakan hingga 8 GPU NVIDIA H100 dengan total memori GPU HBM3 hingga 640 GB per instans. Instans P5 mendukung interkoneksi GPU NVSwitch hingga 900 GB/dtk (total bandwidth dua bagian 3,6 TB/dtk di setiap instans), sehingga setiap GPU dapat berkomunikasi dengan setiap GPU lainnya dalam instans yang sama dengan latensi lompatan tunggal.
Mesin transformator baru dan instruksi DPX
GPU NVIDIA H100 memiliki mesin transformator baru yang secara cerdas mengelola dan secara dinamis memilih antara perhitungan FP8 dan 16-bit. Fitur ini membantu memberikan percepatan pelatihan DL yang lebih cepat pada LLM dibandingkan dengan GPU A100 generasi sebelumnya. Untuk beban kerja HPC, GPU NVIDIA H100 memiliki instruksi DPX baru yang lebih mempercepat algoritma pemrograman dinamis dibandingkan dengan GPU A100.
Jaringan performa tinggi
Instans P5 menghadirkan jaringan EFAv2 hingga 3.200 Gbps. EFAv2 memberikan peningkatan hingga 50% dalam performa komunikasi kolektif untuk beban kerja pelatihan terdistribusi. EFAv2 juga dipadukan dengan NVIDIA GPUDirect RDMA untuk memungkinkan komunikasi GPU ke GPU dengan latensi rendah di antara server tanpa melalui sistem operasi.
Penyimpanan performa tinggi
Instans P5 mendukung sistem file Amazon FSx for Lustre sehingga Anda dapat mengakses data dengan throughput ratusan GB/dtk dan jutaan IOPS yang diperlukan untuk beban kerja DL dan HPC skala besar. Setiap instans P5 juga mendukung penyimpanan SSD NVMe lokal hingga 30 TB untuk akses cepat ke set data besar. Anda juga dapat menggunakan penyimpanan hemat biaya yang hampir tak terbatas dengan Amazon Simple Storage Service (Amazon S3).
EC2 UltraClusters generasi kedua
Instans P5 di-deploy di EC2 UltraClusters generasi kedua, yang menyediakan struktur jaringan yang memungkinkan skala lebih besar, lompatan jaringan lebih sedikit di seluruh klaster, dan latensi lebih rendah dibandingkan UltraClusters generasi sebelumnya. Instans P5 di UltraClusters dapat menaikkan skala hingga 20.000 GPU H100 yang saling terhubung dengan jaringan berskala petabita dan menghadirkan kemampuan komputasi agregat sebesar 20 exaflop.
Integrasi yang lancar dengan layanan AWS lainnya
Instans P5 dapat di-deploy menggunakan AWS Deep Learning AMI (DLAMI) dan Kontainer AWS Deep Learning. Instans ini tersedia melalui layanan terkelola seperti Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS Batch, dan banyak lagi.
Kisah pelanggan
Anthropic membangun sistem AI yang andal, dapat diinterpretasikan, dan dapat diarahkan yang akan banyak peluang untuk menciptakan nilai secara komersial dan bermanfaat bagi publik.
“Di Anthropic, kami berupaya membangun sistem AI yang andal, dapat diinterpretasikan, dan dapat diarahkan. Meskipun sistem AI umum yang besar saat ini dapat memberikan manfaat yang signifikan, sistem tersebut juga tidak dapat diprediksi, tidak dapat diandalkan, dan tidak jelas. Tujuan kami adalah mencapai kemajuan dalam permasalahan ini dan melakukan deployment sistem yang bermanfaat bagi banyak orang. Organisasi kami adalah salah satu dari sedikit organisasi di dunia yang membangun model dasar dalam penelitian DL. Model-model ini sangat kompleks, dan untuk mengembangkan serta melatih model mutakhir ini, kami perlu mendistribusikannya secara efisien ke seluruh klaster GPU yang besar. Kami menggunakan instans P4 Amazon EC2 secara ekstensif saat ini, dan kami menyambut baik peluncuran instans P5. Kami berharap instans tersebut dapat memberikan manfaat performa harga yang besar dibandingkan instans P4d, dan akan tersedia dalam skala besar yang diperlukan untuk membangun LLM generasi berikutnya dan produk terkait.”
Tom Brown, Rekan Pendiri, Anthropic
Cohere, pelopor terkemuka dalam AI bahasa, mendorong setiap developer dan perusahaan untuk menciptakan produk luar biasa dengan teknologi pemrosesan bahasa alami (NLP) terdepan di dunia sekaligus menjaga privasi dan keamanan data mereka.
“Cohere memimpin langkah dalam membantu setiap perusahaan memanfaatkan kekuatan AI bahasa untuk mengeksplorasi, menghasilkan, mencari, dan bertindak berdasarkan informasi dengan cara yang alami dan intuitif, di-deploy di berbagai platform cloud dalam lingkungan data yang paling sesuai untuk setiap pelanggan. Instans P5 Amazon EC2 yang didukung NVIDIA H100 akan memberikan kemampuan bisnis untuk menciptakan, mengembangkan, dan menskalakan lebih cepat dengan kekuatan komputasi yang dikombinasikan dengan kemampuan LLM dan AI generatif Cohere yang canggih.”
Aidan Gomez, CEO, Cohere
Hugging Face memiliki misi untuk mendemokratisasi ML yang baik.
“Sebagai komunitas sumber terbuka untuk ML dengan pertumbuhan tercepat, kami saat ini menyediakan lebih dari 150.000 model terlatih dan 25.000 set data di platform kami untuk NLP, visi komputer, biologi, pembelajaran penguatan, dan banyak lagi. Dengan kemajuan signifikan dalam LLM dan AI generatif, kami bekerja sama dengan AWS untuk membangun dan menyumbangkan model sumber terbuka masa depan. Kami tidak sabar menggunakan instans P5 Amazon EC2 melalui Amazon SageMaker dalam skala besar di UltraClusters dengan EFA untuk mempercepat pengiriman model AI dasar baru untuk semua orang."
Julien Chaumond, CTO dan Rekan Pendiri, Hugging Face
Detail produk
| Ukuran Instans | vCPU | Memori Instans (TiB) | GPU - H100 | Memori GPU | Bandwith Jaringan | GPUDirectRDMA | Peer to Peer GPU | Penyimpanan Instans (TB) | Bandwidth EBS (Gbps) |
p5.48xlarge |
192 |
2 |
8 |
640 GB HBM3 |
3200 Gbps EFAv2 |
Ya |
900 GB/s NVSwitch |
8 x 3.84 NVMe SSD |
80 |
*Harga yang ditampilkan adalah untuk Linux/Unix di Wilayah AWS AS Timur (Virginia Utara) dan dibulatkan ke sen terdekat. Untuk detail harga lengkap, lihat Harga Amazon EC2.
Memulai instans P5 untuk ML
Menggunakan SageMaker
SageMaker adalah layanan yang terkelola sepenuhnya untuk membangun, melatih, dan melakukan deployment model ML. Saat digunakan bersama dengan instans P5, Anda dapat dengan lebih mudah menskalakan hingga puluhan, ratusan, atau ribuan GPU untuk melatih model dengan cepat pada skala apa pun tanpa mengkhawatirkan penyiapan klaster dan pipeline data.
Menggunakan DLAMI atau Kontainer Deep Learning
DLAMI memberi praktisi dan peneliti ML infrastruktur dan alat untuk mempercepat DL di cloud, pada skala apa pun. Kontainer Deep Learning adalah citra Docker yang sudah diinstal sebelumnya dengan kerangka kerja DL untuk menyederhanakan deployment lingkungan ML kustom dengan memungkinkan Anda melewati proses rumit dalam membangun dan mengoptimalkan lingkungan Anda dari awal.
Menggunakan Amazon EKS atau Amazon ECS
Jika Anda lebih memilih untuk mengelola beban kerja terkontainer Anda sendiri melalui layanan orkestrasi kontainer, Anda dapat melakukan deployment instans P5 dengan Amazon EKS atau Amazon ECS.
Memulai instans P5 untuk HPC
Instans P5 adalah platform yang ideal untuk menjalankan simulasi rekayasa, keuangan komputasional, analisis seismik, pemodelan molekul, genomik, rendering, dan beban kerja HPC berbasis GPU lainnya. Aplikasi HPC sering kali memerlukan performa jaringan yang tinggi, penyimpanan yang cepat, memori dalam jumlah besar, kemampuan komputasi tinggi, atau semua hal tersebut. Instans P5 mendukung EFAv2 yang memungkinkan aplikasi HPC menggunakan Antarmuka Pengalihan Pesan (MPI) untuk menskalakan hingga ribuan GPU. AWS Batch dan AWS ParallelCluster memungkinkan developer HPC membangun dan menskalakan aplikasi HPC terdistribusi dengan cepat.
Pelajari lebih lanjut »
Mulai menggunakan AWS
Mulai membangun di konsol
Mulai membangun dengan panduan langkah demi langkah untuk membantu Anda meluncurkan proyek AWS.