Instans P4 Amazon EC2
Performa tertinggi untuk pelatihan ML dan aplikasi HPC di cloud
Instans P4d Amazon EC2 memberikan performa terbaik untuk pelatihan machine learning (ML) dan aplikasi komputasi performa tinggi (HPC) di cloud. Instans P4d didukung oleh GPU NVIDIA A100 Tensor Core terbaru dan menghasilkan throughput tinggi serta jaringan latensi rendah yang terdepan di industrinya. Instans ini merupakan yang pertama di cloud yang mendukung jaringan instans 400 Gbps. Instans P4d memberikan biaya hingga 60% lebih rendah untuk melatih model ML, termasuk rata-rata performa 2,5x lebih baik untuk model deep learning dibandingkan dengan instans P3 dan P3dn generasi sebelumnya.
Instans P4d Amazon EC2 di-deploy di klaster skala raksasa yang disebut EC2 UltraClusters yang terdiri dari komputasi, jaringan, dan penyimpanan dengan performa terbaik di cloud. Setiap EC2 UltraCluster adalah salah satu komputer super tercanggih di dunia yang memungkinkan pelanggan menjalankan pelatihan ML multisimpul paling rumit dan beban kerja HPC terdistribusi. Pelanggan bisa dengan mudah menetapkan skala dari beberapa hingga ribuan GPU NVIDIA A100 di EC2 UltraClusters berdasarkan kebutuhan proyek ML atau HPC mereka.
Peneliti, ilmuwan data, dan developer bisa memanfaatkan instans P4d untuk melatih model ML untuk kasus penggunaan seperti pemrosesan bahasa alami, deteksi dan klasifikasi objek, dan mesin rekomendasi, serta menjalankan aplikasi HPC seperti penemuan farmasi, analisis seismik, dan pemodelan keuangan. Tidak seperti sistem on-premise, pelanggan bisa mengakses komputasi dan kapasitas penyimpanan yang hampir tidak terbatas, menskalakan infrastrukturnya berdasarkan kebutuhan bisnis, dan menjalankan tugas pelatihan ML multisimpul atau aplikasi HPC terdistribusi yang digabungkan secara erat dalam hitungan menit, tanpa biaya penyiapan atau pemeliharaan.
Ada pertanyaan atau perlu bantuan terkait EC2 UltraClusters?
Pelatihan ML Skala Besar dan HPC dengan P4d EC2 UltraClusters
EC2 UltraClusters dari instans P4d menggabungkan komputasi, jaringan, dan penyimpanan berperforma tinggi menjadi salah satu komputer super paling canggih di dunia. Setiap EC2 UltraCluster dari instans P4d terdiri dari lebih dari 4.000 GPU NVIDIA A100 terbaru, infrastruktur jaringan tanpa pemblokiran skala Petabit, dan penyimpanan latensi rendah throughput tinggi dengan FSx for Lustre. Setiap developer ML, peneliti, atau ilmuwan data bisa menjalankan instans P4d di EC2 UltraClusters untuk mendapatkan akses ke performa kelas komputer super dengan model penggunaan bayar sesuai penggunaan untuk menjalankan pelatihan ML multisimpul paling rumit dan beban kerja HPC.
Untuk pertanyaan atau bantuan terkait EC2 UltraClusters, minta bantuan.

Hanya tersedia di beberapa wilayah. Untuk informasi tentang wilayah yang didukung dan informasi tambahan apa pun tentang EC2 UltraClusters hubungi kami.
Manfaat
Mengurangi waktu pelatihan ML dari hitungan hari menjadi menit
Dengan GPU NVIDIA A100 Tensor Core generasi terbaru, setiap instans P4d Amazon EC2 memberikan rata-rata performa deep learning 2,5x lebih baik dibandingkan dengan instans P3 generasi sebelumnya. EC2 UltraClusters dari instans P4d memungkinkan developer, ilmuwan data, dan peneliti setiap hari menjalankan beban kerja ML dan HPC mereka yang paling rumit dengan memberikan akses ke performa kelas komputer super tanpa biaya di muka atau komitmen jangka panjang. Pengurangan waktu pelatihan dengan instans P4d meningkatkan produktivitas, memungkinkan developer fokus pada misi inti mereka dalam membangun kecerdasan ML ke di aplikasi bisnis.
Jalankan pelatihan ML multisimpul paling rumit dengan efisiensi tinggi
Developer bisa dengan lancar menskalakan hingga ribuan GPU dengan EC2 UltraClusters dari instans P4d. Throughput tinggi, jaringan latensi rendah dengan dukungan untuk jaringan instans 400 Gbps, Elastic Fabric Adapter (EFA), dan teknologi GPUDirect RDMA, membantu melatih model ML dengan cepat menggunakan teknik perluasan skala/terdistribusi. Elastic Fabric Adapter (EFA) menggunakan NVIDIA Collective Communications Library (NCCL) untuk menskalakan ke ribuan GPU, dan teknologi GPUDirect RDMA memungkinkan komunikasi GPU ke GPU dengan latensi rendah di antara instans P4d.
Menurunkan biaya infrastruktur untuk pelatihan ML dan HPC
Instans P4d Amazon EC2 memberikan biaya hingga 60% lebih rendah untuk melatih model ML dibandingkan dengan instans P3. Selain itu, instans P4d tersedia untuk dibeli sebagai instans Spot. Instans Spot memanfaatkan kapasitas instans EC2 yang tidak digunakan dan bisa mengurangi biaya Amazon EC2 secara signifikan dengan diskon hingga 90% dari harga Sesuai Permintaan. Dengan biaya pelatihan ML yang lebih rendah dengan instans P4d, anggaran bisa dialokasikan kembali untuk membangun lebih banyak kecerdasan ML ke aplikasi bisnis.
Memulai dan menskalakan dengan mudah menggunakan layanan AWS
AMI deep learning dan kontainer deep learning memudahkan untuk men-deploy lingkungan deep learning P4d dalam hitungan menit karena berisi pustaka kerangka kerja deep learning dan alat yang diperlukan. Anda juga bisa menambahkan pustaka dan alat Anda sendiri dengan mudah ke citra ini. Instans P4d mendukung kerangka kerja ML populer seperti TensorFlow, PyTorch, dan MXNet. Selain itu, instans P4d Amazon EC2 didukung oleh layanan AWS utama untuk ML, manajemen, dan orkestrasi seperti Amazon SageMaker, Amazon Elastic Kubernetes Service (EKS), Amazon Elastic Container Service (ECS), AWS Batch, dan AWS ParallelCluster.
Fitur
Didukung oleh GPU NVIDIA A100 Tensor Core
GPU NVIDIA A100 Tensor Core memberikan akselerasi yang belum pernah ada sebelumnya dalam skala besar untuk ML dan komputasi performa tinggi (HPC). Tensor Core generasi ketiga NVIDIA A100 mempercepat setiap beban kerja presisi, mempercepat waktu ke wawasan dan waktu pemasaran. Setiap GPU A100 menawarkan lebih dari 2,5x performa komputasi dibandingkan dengan GPU V100 generasi sebelumnya dan dilengkapi dengan memori GPU HBM2 40 GB (dalam instans P4d) atau HBM2e 80 GB (dalam instans P4de) berperforma tinggi. Memori GPU yang lebih tinggi terutama menguntungkan pelatihan beban kerja tersebut pada set data besar dari data resolusi tinggi. GPU NVIDIA A100 memanfaatkan throughput interkoneksi GPU NVSwitch sehingga setiap GPU dapat berkomunikasi dengan setiap GPU lainnya di instans yang sama pada throughput dua arah 600 GB/dtk yang sama dan dengan latensi hop tunggal.
Jaringan performa tinggi
Instans P4d menyediakan jaringan 400 Gbps untuk membantu pelanggan meningkatkan beban kerja terdistribusi dengan lebih baik seperti pelatihan multisimpul secara lebih efisien dengan jaringan throughput tinggi di antara instans P4d dan di antara instans P4d serta layanan penyimpanan seperti Amazon S3 dan FSX for Lustre. Elastic Fabric Adapter (EFA) adalah antarmuka jaringan khusus yang dirancang oleh AWS untuk membantu menskalakan aplikasi ML dan HPC ke ribuan GPU. Untuk lebih mengurangi latensi, EFA dipasangkan dengan NVIDIA GPUDirect RDMA untuk memungkinkan komunikasi GPU ke GPU latensi rendah di antara server dengan bypass OS.
Throughput tinggi, penyimpanan latensi rendah
Pelanggan bisa mengakses throughput tinggi skala PetaByte, penyimpanan latensi rendah dengan FSx for Lustre, atau penyimpanan hemat biaya yang hampir tidak terbatas dengan Amazon S3 pada kecepatan 400 Gbps. Untuk beban kerja yang memerlukan akses cepat ke set data besar, setiap instans P4d juga menyertakan penyimpanan SSD berbasis NVMe sebesar 8 TB dengan <i>throughput</i> baca 16 GigaByte/detik.
Dibangun di AWS Nitro System
Instans P4d dibangun di AWS Nitro System yang merupakan kumpulan komponen dasar yang mengalihkan beban berbagai fungsi virtualisasi konvensional ke perangkat keras dan perangkat lunak khusus untuk memberikan performa tinggi, ketersediaan tinggi, dan keamanan tinggi sekaligus juga mengurangi virtualisasi tambahan.
Kisah pelanggan

Toyota Research Institute (TRI), didirikan pada tahun 2015, bekerja untuk mengembangkan berkendara otomatis, robotik, dan teknologi amplifikasi manusia lainnya untuk Toyota.
“Di TRI, kami sedang berupaya membangun masa depan dengan kebebasan bergerak untuk setiap orang,” kata Mike Garrison, Kepala Teknisi (Technical Lead), Teknisi Infrastruktur (Infrastructure Engineering) di TRI. "Instans P3 generasi sebelumnya membantu kami mengurangi waktu untuk melatih model machine learning dari hitungan hari ke jam dan kami berharap bisa memanfaatkan instans P4d, karena memori GPU tambahan dan format float yang lebih efisien akan memungkinkan tim machine learning kami melatih dengan lebih banyak model rumit pada kecepatan yang lebih cepat."

"Di TRI-AD, kami sedang berupaya membangun masa depan dengan kebebasan bergerak untuk setiap orang dan mengeksplorasi dengan fokus pada pengurangan cedera kendaraan dan kematian menggunakan berkendara adaptif dan kota cerdas. Melalui penggunaan instans P4d Amazon EC2, kami bisa mengurangi waktu pelatihan untuk pengenalan objek sebesar 40% dibandingkan dengan instans GPU generasi sebelumnya tanpa modifikasi apa pun pada kode yang ada." kata Junya Inada, Direktur Berkendara Otomatis (pengenalan) (Director of Automated Driving (Recognition)) di TRI-AD.
Jack Yan, Direktur Senior Teknik Infrastruktur (Senior Director of Infrastructure Engineering) di TRI-AD mengatakan, "Melalui penggunaan instans P4d Amazon EC2, kami bisa secara instan mengurangi biaya pelatihan dibandingkan dengan instans GPU generasi sebelumnya yang memungkinkan kami meningkatkan jumlah tim yang bekerja pada pelatihan model. Peningkatan jaringan di P4d memungkinkan kami menskalakan secara efisien puluhan instans yang memberi kami ketangkasan signifikan secara cepat dalam mengoptimalkan, melatih kembali, dan men-deploy model di lingkungan uji atau lingkungan simulasi untuk pengujian lebih lanjut. "

GE Healthcare adalah teknologi medis global terkemuka dan inovator solusi digital. GE Healthcare memungkinkan para dokter membuat keputusan yang lebih cepat dan lebih tepat melalui perangkat cerdas, analisis data, aplikasi, dan layanan, yang didukung oleh platform inteligen Edison.
“Di GE Healthcare, kami menyediakan alat-alat yang membantu mereka menggabungkan data, menerapkan AI dan analitik ke data tersebut serta membuka wawasan yang meningkatkan hasil pasien, mendorong efisiensi, dan menghilangkan kesalahan," Kata Karley Yoder, VP & GM, Kecerdasan Buatan (AI). “Perangkat pencitraan medis kami menghasilkan sejumlah besar data yang perlu diproses oleh para ilmuwan data kami. Dengan klaster GPU sebelumnya, proses ini akan memakan waktu berhari-hari untuk melatih model AI yang kompleks, seperti Progressive GAN untuk simulasi dan menampilkan hasilnya. Menggunakan instans P4d baru mengurangi waktu pemrosesan dari hitungan hari ke jam. Kami melihat kecepatan dua hingga tiga kali lebih besar pada model pelatihan dengan berbagai ukuran gambar, sekaligus mencapai performa yang lebih baik dengan peningkatan ukuran batch dan produktivitas yang lebih tinggi dengan siklus pengembangan model yang lebih cepat.”
.1423e4372be1d9da0d8bc14e12566a8c5f996091.png)
HEAVY.AI adalah pelopor dalam analitik yang dipercepat. Platform HEAVY.AI digunakan dalam bisnis dan pemerintahan untuk menemukan wawasan dalam data di luar batas alat analitik utama.
“Di HEAVY.AI, kami bekerja untuk membangun masa depan di mana Ilmu Data dan Analisis bertemu untuk memecah dan memadukan silo data. Pelanggan memanfaatkan sejumlah besar data mereka yang mungkin mencakup lokasi dan waktu untuk membangun gambaran lengkap tidak hanya tentang apa yang terjadi, tetapi juga kapan dan di mana melalui visualisasi terperinci dari data temporal spasial. Teknologi kami memungkinkan melihat hutan dan pohonnya sekaligus.” kata (Ray Falcione), Wakil Presiden Sektor Publik AS (VP of US Public Sector) di HEAVY.AI. “Melalui penggunaan instans Amazon EC2 P4d, kami dapat mengurangi biaya untuk men-deploy platform kami secara signifikan dibandingkan dengan instans GPU generasi sebelumnya sehingga memungkinkan kami untuk menskalakan set data besar dengan hemat biaya. Peningkatan jaringan pada A100 telah meningkatkan efisiensi kami dalam cara kami menskalakan hingga miliaran baris data dan memungkinkan pelanggan kami untuk mendapatkan wawasan lebih cepat.”

Zenotech Ltd mendefinisikan ulang rekayasa online melalui penggunaan HPC Cloud yang menghadirkan model lisensi sesuai permintaan beserta manfaat performa ekstrem dengan memanfaatkan GPU.
“Di Zenotech kami sedang mengembangkan alat untuk memungkinkan desainer menciptakan produk yang lebih efisien dan ramah lingkungan. Kami bekerja di seluruh industri dan alat kami memberikan wawasan performa produk yang lebih besar melalui penggunaan simulasi skala besar.” kata Jamil Appa, Direktur (Director) Zenotech. “Penggunaan instans P4d AWS, memungkinkan kami menjalankan simulasi 3,5 kali lebih cepat dibandingkan dengan GPU generasi sebelumnya. Kecepatan ini memangkas waktu kami untuk menyelesaikan secara signifikan sehingga memungkinkan pelanggan memasarkan desain dengan lebih cepat atau melakukan simulasi fidelitas yang lebih tinggi dibanding yang mungkin dilakukan sebelumnya.”

Aon adalah perusahaan layanan profesional global terkemuka yang menyediakan berbagai solusi risiko, pensiun, dan kesehatan. Aon PathWise adalah solusi manajemen risiko HPC berbasis GPU dan bisa diskalakan yang bisa digunakan oleh perusahaan asuransi dan reasuransi, bank, dan dana pensiun untuk mengatasi tantangan utama saat ini seperti pengujian strategi lindung nilai, perkiraan peraturan dan ekonomi, serta penganggaran.
“Di PathWise Solutions Group LLC, produk kami memungkinkan perusahaan asuransi, reasuransi, dan dana pensiun mengakses teknologi generasi berikutnya untuk memecahkan tantangan asuransi utama saat ini secara cepat seperti machine learning, pengujian strategi lindung nilai, pelaporan peraturan dan keuangan, perencanaan bisnis dan prakiraan ekonomi, serta pengembangan dan penetapan harga produk baru” kata Peter Phillips, Presiden dan CEO (President and CEO), PathWise Solutions Group. "Melalui penggunaan instans P4d Amazon EC2, kami bisa memberikan peningkatan kecepatan yang luar biasa dalam penghitungan presisi tunggal dan ganda dibandingkan instans GPU generasi sebelumnya dalam penghitungan yang paling banyak permintaan, memungkinkan rentang penghitungan dan prakiraan baru dilakukan oleh klien untuk pertama kalinya. Kecepatan itu penting,” kata Phillips, “dan kami terus memberikan nilai yang berarti dan teknologi terbaru kepada pelanggan kami berkat instans baru dari AWS.”

Terdiri dari ahli radiologi dan AI, Rad AI membuat produk yang memaksimalkan produktivitas ahli radiologi, yang pada akhirnya membuat layanan kesehatan lebih mudah diakses dan meningkatkan hasil pasien.
“Di Rad AI, misi kami adalah meningkatkan akses ke dan kualitas pelayanan kesehatan untuk semua orang. Dengan berfokus pada alur kerja pencitraan medis, Rad AI menghemat waktu ahli radiologi, mengurangi kelelahan, dan meningkatkan akurasi,” kata Doktor Gurson, Rekan pendiri (Co-founder) Rad AI. “Kami menggunakan AI untuk mengotomatiskan alur kerja radiologi dan membantu menyederhanakan pelaporan radiologi. Dengan instans P4d EC2 baru, kami melihat inferensi yang lebih cepat dan kemampuan untuk melatih model 2,4x lebih cepat dengan akurasi yang lebih tinggi dibandingkan dengan instans P3 generasi sebelumnya. Hal ini memungkinkan diagnosis yang lebih cepat, lebih akurat, dan akses yang lebih besar ke layanan radiologi berkualitas tinggi yang disediakan oleh pelanggan kami di seluruh AS.“
Detail Produk
Ukuran Instans | vCPU | Memori Instans (GiB) | GPU – A100 | Memori GPU | Bandwidth Jaringan (Gbps) | GPUDirect RDMA | Peer to Peer GPU | Penyimpanan Instans (GB) | Bandwidth EBS (Gbps) | Harga sesuai permintaan/jam | Instans Cadangan 1 Tahun Efektif Per Jam * | Instans Cadangan 3 Tahun Efektif Per Jam * |
---|---|---|---|---|---|---|---|---|---|---|---|---|
p4d.24xlarge | 96 | 1152 | 8 | 320 GB HBM2 |
400 ENA dan EFA | Ya | 600 GB/s NVSwitch | 8 x 1000 NVMe SSD | 19 | 32,77 USD | 19,22 USD | 11,57 USD |
p4de.24xlarge (pratinjau) | 96 | 1152 | 8 | 640 GB HBM2e |
400 ENA dan EFA | Ya | 600 GB/s NVSwitch | 8 x 1000 NVMe SSD | 19 | 40,96 USD | 24,01 USD | 14,46 USD |
Instans P4d Amazon EC2 tersedia di wilayah AS Timur (Virginia Utara dan Ohio), AS Barat (Oregon), Eropa (Irlandia dan Frankfurt), dan Asia Pasifik (Tokyo dan Seoul). Sementara instans P4de Amazon EC2 tersedia di wilayah AS Timur (Virginia Utara) dan AS Barat (Oregon) AWS.
Pelanggan dapat membeli instans P4d dan P4de sebagai Instans Sesuai Permintaan, Instans Terpesan, Instans Spot, dan Host Khusus atau sebagai bagian dari Savings Plan.
Mulai menggunakan instans P4d Amazon EC2 untuk machine learning
Menggunakan Amazon SageMaker
Menggunakan AMI Deep Learning AWS atau Deep Learning Containers
Menggunakan Amazon Elastic Kubernetes Service (EKS) atau Elastic Container Service (ECS)
Memulai instans P4d Amazon EC2 untuk komputasi berperforma tinggi
Instans P4d Amazon EC2 merupakan platform yang ideal untuk menjalankan simulasi teknik, keuangan komputasional, analisis seismik, pemodelan molekul, genomik, rendering, dan beban kerja komputasi tinggi (HPC) berbasis GPU lainnya. Aplikasi HPC sering kali memerlukan performa jaringan yang tinggi, penyimpanan cepat, memori dalam jumlah besar, kemampuan komputasi tinggi, atau semua yang disebutkan di atas. Instans P4d mendukung Elastic Fabric Adapter (EFA) yang memungkinkan aplikasi HPC menggunakan Message Passing Interface (MPI) untuk menskalakan ribuan GPU. AWS Batch dan AWS ParallelCluster memungkinkan developer HPC membangun dan menskalakan aplikasi HPC terdistribusi dengan cepat.
Postingan blog & artikel
Sumber daya tambahan
Mulai menggunakan AWS

Mulai membangun di konsol
Mulai membangun dengan panduan langkah demi langkah untuk membantu Anda meluncurkan proyek AWS.