Instans P4 Amazon EC2

Performa tertinggi untuk pelatihan ML dan aplikasi HPC di cloud

Instans P4d Amazon EC2 memberikan performa terbaik untuk pelatihan machine learning (ML) dan aplikasi komputasi performa tinggi (HPC) di cloud. Instans P4d didukung oleh GPU NVIDIA A100 Tensor Core terbaru dan menghasilkan throughput tinggi serta jaringan latensi rendah yang terdepan di industrinya. Instans ini merupakan yang pertama di cloud yang mendukung jaringan instans 400 Gbps. Instans P4d memberikan biaya hingga 60% lebih rendah untuk melatih model ML, termasuk rata-rata performa 2,5x lebih baik untuk model deep learning dibandingkan dengan instans P3 dan P3dn generasi sebelumnya.

Instans P4d Amazon EC2 di-deploy di klaster skala raksasa yang disebut EC2 UltraClusters yang terdiri dari komputasi, jaringan, dan penyimpanan dengan performa terbaik di cloud. Setiap EC2 UltraCluster adalah salah satu komputer super tercanggih di dunia yang memungkinkan pelanggan menjalankan pelatihan ML multisimpul paling rumit dan beban kerja HPC terdistribusi. Pelanggan bisa dengan mudah menetapkan skala dari beberapa hingga ribuan GPU NVIDIA A100 di EC2 UltraClusters berdasarkan kebutuhan proyek ML atau HPC mereka.

Peneliti, ilmuwan data, dan developer bisa memanfaatkan instans P4d untuk melatih model ML untuk kasus penggunaan seperti pemrosesan bahasa alami, deteksi dan klasifikasi objek, dan mesin rekomendasi, serta menjalankan aplikasi HPC seperti penemuan farmasi, analisis seismik, dan pemodelan keuangan. Tidak seperti sistem on-premise, pelanggan bisa mengakses komputasi dan kapasitas penyimpanan yang hampir tidak terbatas, menskalakan infrastrukturnya berdasarkan kebutuhan bisnis, dan menjalankan tugas pelatihan ML multisimpul atau aplikasi HPC terdistribusi yang digabungkan secara erat dalam hitungan menit, tanpa biaya penyiapan atau pemeliharaan.

Mengumumkan Instans P4d Amazon EC2 Baru (2:00)

Ada pertanyaan atau perlu bantuan terkait EC2 UltraClusters?

Minta bantuan »

Pelatihan ML Skala Besar dan HPC dengan P4d EC2 UltraClusters

EC2 UltraClusters dari instans P4d menggabungkan komputasi, jaringan, dan penyimpanan berperforma tinggi menjadi salah satu komputer super paling canggih di dunia. Setiap EC2 UltraCluster dari instans P4d terdiri dari lebih dari 4.000 GPU NVIDIA A100 terbaru, infrastruktur jaringan tanpa pemblokiran skala Petabit, dan penyimpanan latensi rendah throughput tinggi dengan FSx for Lustre. Setiap developer ML, peneliti, atau ilmuwan data bisa menjalankan instans P4d di EC2 UltraClusters untuk mendapatkan akses ke performa kelas komputer super dengan model penggunaan bayar sesuai penggunaan untuk menjalankan pelatihan ML multisimpul paling rumit dan beban kerja HPC.

Untuk pertanyaan atau bantuan terkait EC2 UltraClusters, minta bantuan.

EC2_UltraClusters_HIW

Hanya tersedia di beberapa wilayah. Untuk informasi tentang wilayah yang didukung dan informasi tambahan apa pun tentang EC2 UltraClusters hubungi kami.

Manfaat

Mengurangi waktu pelatihan ML dari hitungan hari menjadi menit

Dengan GPU NVIDIA A100 Tensor Core generasi terbaru, setiap instans P4d Amazon EC2 memberikan rata-rata performa deep learning 2,5x lebih baik dibandingkan dengan instans P3 generasi sebelumnya. EC2 UltraClusters dari instans P4d memungkinkan developer, ilmuwan data, dan peneliti setiap hari menjalankan beban kerja ML dan HPC mereka yang paling rumit dengan memberikan akses ke performa kelas komputer super tanpa biaya di muka atau komitmen jangka panjang. Pengurangan waktu pelatihan dengan instans P4d meningkatkan produktivitas, memungkinkan developer fokus pada misi inti mereka dalam membangun kecerdasan ML ke di aplikasi bisnis.

Jalankan pelatihan ML multisimpul paling rumit dengan efisiensi tinggi

Developer bisa dengan lancar menskalakan hingga ribuan GPU dengan EC2 UltraClusters dari instans P4d. Throughput tinggi, jaringan latensi rendah dengan dukungan untuk jaringan instans 400 Gbps, Elastic Fabric Adapter (EFA), dan teknologi GPUDirect RDMA, membantu melatih model ML dengan cepat menggunakan teknik perluasan skala/terdistribusi. Elastic Fabric Adapter (EFA) menggunakan NVIDIA Collective Communications Library (NCCL) untuk menskalakan ke ribuan GPU, dan teknologi GPUDirect RDMA memungkinkan komunikasi GPU ke GPU dengan latensi rendah di antara instans P4d.

Menurunkan biaya infrastruktur untuk pelatihan ML dan HPC

Instans P4d Amazon EC2 memberikan biaya hingga 60% lebih rendah untuk melatih model ML dibandingkan dengan instans P3. Selain itu, instans P4d tersedia untuk dibeli sebagai instans Spot. Instans Spot memanfaatkan kapasitas instans EC2 yang tidak digunakan dan bisa mengurangi biaya Amazon EC2 secara signifikan dengan diskon hingga 90% dari harga Sesuai Permintaan. Dengan biaya pelatihan ML yang lebih rendah dengan instans P4d, anggaran bisa dialokasikan kembali untuk membangun lebih banyak kecerdasan ML ke aplikasi bisnis.

Memulai dan menskalakan dengan mudah menggunakan layanan AWS

AMI deep learning dan kontainer deep learning memudahkan untuk men-deploy lingkungan deep learning P4d dalam hitungan menit karena berisi pustaka kerangka kerja deep learning dan alat yang diperlukan. Anda juga bisa menambahkan pustaka dan alat Anda sendiri dengan mudah ke citra ini. Instans P4d mendukung kerangka kerja ML populer seperti TensorFlow, PyTorch, dan MXNet. Selain itu, instans P4d Amazon EC2 didukung oleh layanan AWS utama untuk ML, manajemen, dan orkestrasi seperti Amazon SageMaker, Amazon Elastic Kubernetes Service (EKS), Amazon Elastic Container Service (ECS), AWS Batch, dan AWS ParallelCluster.

Fitur

Didukung oleh GPU NVIDIA A100 Tensor Core

GPU NVIDIA A100 Tensor Core memberikan akselerasi yang belum pernah ada sebelumnya dalam skala besar untuk ML dan komputasi performa tinggi (HPC). Tensor Core generasi ketiga NVIDIA A100 mempercepat setiap beban kerja presisi, mempercepat waktu ke wawasan dan waktu pemasaran. Setiap GPU A100 menawarkan lebih dari 2,5x performa komputasi dibandingkan dengan GPU V100 generasi sebelumnya dan dilengkapi dengan memori GPU HBM2 40 GB (dalam instans P4d) atau HBM2e 80 GB (dalam instans P4de) berperforma tinggi. Memori GPU yang lebih tinggi terutama menguntungkan pelatihan beban kerja tersebut pada set data besar dari data resolusi tinggi. GPU NVIDIA A100 memanfaatkan throughput interkoneksi GPU NVSwitch sehingga setiap GPU dapat berkomunikasi dengan setiap GPU lainnya di instans yang sama pada throughput dua arah 600 GB/dtk yang sama dan dengan latensi hop tunggal.

Jaringan performa tinggi

Instans P4d menyediakan jaringan 400 Gbps untuk membantu pelanggan meningkatkan beban kerja terdistribusi dengan lebih baik seperti pelatihan multisimpul secara lebih efisien dengan jaringan throughput tinggi di antara instans P4d dan di antara instans P4d serta layanan penyimpanan seperti Amazon S3 dan FSX for Lustre. Elastic Fabric Adapter (EFA) adalah antarmuka jaringan khusus yang dirancang oleh AWS untuk membantu menskalakan aplikasi ML dan HPC ke ribuan GPU. Untuk lebih mengurangi latensi, EFA dipasangkan dengan NVIDIA GPUDirect RDMA untuk memungkinkan komunikasi GPU ke GPU latensi rendah di antara server dengan bypass OS.

Throughput tinggi, penyimpanan latensi rendah

Pelanggan bisa mengakses throughput tinggi skala PetaByte, penyimpanan latensi rendah dengan FSx for Lustre, atau penyimpanan hemat biaya yang hampir tidak terbatas dengan Amazon S3 pada kecepatan 400 Gbps. Untuk beban kerja yang memerlukan akses cepat ke set data besar, setiap instans P4d juga menyertakan penyimpanan SSD berbasis NVMe sebesar 8 TB dengan <i>throughput</i> baca 16 GigaByte/detik.

Dibangun di AWS Nitro System

Instans P4d dibangun di AWS Nitro System yang merupakan kumpulan komponen dasar yang mengalihkan beban berbagai fungsi virtualisasi konvensional ke perangkat keras dan perangkat lunak khusus untuk memberikan performa tinggi, ketersediaan tinggi, dan keamanan tinggi sekaligus juga mengurangi virtualisasi tambahan.

Kisah pelanggan

mli_600x400_TRI

Toyota Research Institute (TRI), didirikan pada tahun 2015, bekerja untuk mengembangkan berkendara otomatis, robotik, dan teknologi amplifikasi manusia lainnya untuk Toyota.

“Di TRI, kami sedang berupaya membangun masa depan dengan kebebasan bergerak untuk setiap orang,” kata Mike Garrison, Kepala Teknisi (Technical Lead), Teknisi Infrastruktur (Infrastructure Engineering) di TRI. "Instans P3 generasi sebelumnya membantu kami mengurangi waktu untuk melatih model machine learning dari hitungan hari ke jam dan kami berharap bisa memanfaatkan instans P4d, karena memori GPU tambahan dan format float yang lebih efisien akan memungkinkan tim machine learning kami melatih dengan lebih banyak model rumit pada kecepatan yang lebih cepat."

TRI-AD_logo_1200 200415_1

"Di TRI-AD, kami sedang berupaya membangun masa depan dengan kebebasan bergerak untuk setiap orang dan mengeksplorasi dengan fokus pada pengurangan cedera kendaraan dan kematian menggunakan berkendara adaptif dan kota cerdas. Melalui penggunaan instans P4d Amazon EC2, kami bisa mengurangi waktu pelatihan untuk pengenalan objek sebesar 40% dibandingkan dengan instans GPU generasi sebelumnya tanpa modifikasi apa pun pada kode yang ada." kata Junya Inada, Direktur Berkendara Otomatis (pengenalan) (Director of Automated Driving (Recognition)) di TRI-AD.

Jack Yan, Direktur Senior Teknik Infrastruktur (Senior Director of Infrastructure Engineering) di TRI-AD mengatakan, "Melalui penggunaan instans P4d Amazon EC2, kami bisa secara instan mengurangi biaya pelatihan dibandingkan dengan instans GPU generasi sebelumnya yang memungkinkan kami meningkatkan jumlah tim yang bekerja pada pelatihan model. Peningkatan jaringan di P4d memungkinkan kami menskalakan secara efisien puluhan instans yang memberi kami ketangkasan signifikan secara cepat dalam mengoptimalkan, melatih kembali, dan men-deploy model di lingkungan uji atau lingkungan simulasi untuk pengujian lebih lanjut. "

ge_healthcare

GE Healthcare adalah teknologi medis global terkemuka dan inovator solusi digital. GE Healthcare memungkinkan para dokter membuat keputusan yang lebih cepat dan lebih tepat melalui perangkat cerdas, analisis data, aplikasi, dan layanan, yang didukung oleh platform inteligen Edison.

“Di GE Healthcare, kami menyediakan alat-alat yang membantu mereka menggabungkan data, menerapkan AI dan analitik ke data tersebut serta membuka wawasan yang meningkatkan hasil pasien, mendorong efisiensi, dan menghilangkan kesalahan," Kata Karley Yoder, VP & GM, Kecerdasan Buatan (AI). “Perangkat pencitraan medis kami menghasilkan sejumlah besar data yang perlu diproses oleh para ilmuwan data kami. Dengan klaster GPU sebelumnya, proses ini akan memakan waktu berhari-hari untuk melatih model AI yang kompleks, seperti Progressive GAN untuk simulasi dan menampilkan hasilnya. Menggunakan instans P4d baru mengurangi waktu pemrosesan dari hitungan hari ke jam. Kami melihat kecepatan dua hingga tiga kali lebih besar pada model pelatihan dengan berbagai ukuran citra, sekaligus mencapai performa yang lebih baik dengan peningkatan ukuran batch dan produktivitas yang lebih tinggi dengan siklus pengembangan model yang lebih cepat."

0_banner

OmniSci merupakan pelopor dalam analitik yang dipercepat. Platform OmniSci digunakan dalam bisnis dan pemerintah untuk menemukan wawasan dalam data di luar batas alat analitik utama.

“Di Omnisci, kami berupaya membangun masa depan dengan mempertemukan Ilmu Data dan Analitik untuk memecah dan memadukan silo data. Pelanggan memanfaatkan sejumlah besar data mereka yang bisa mencakup lokasi dan waktu untuk membangun gambaran lengkap tidak hanya apa yang terjadi, tetapi waktu dan tempat melalui visualisasi terperinci dari data temporal spasial. Teknologi kami memungkinkan melihat hutan dan pohon.” kata (Ray Falcione), Wakil Presiden Sektor Publik AS (VP of US Public Sector) di Omnisci. “Melalui penggunaan instans P4d Amazon EC2, kami bisa mengurangi biaya untuk men-deploy platform kami secara signifikan dibandingkan dengan instans GPU generasi sebelumnya sehingga memungkinkan kami menetapkan set data besar secara efektif. Peningkatan jaringan pada A100 telah meningkatkan efisiensi kami dalam cara kami menskalakan hingga miliaran baris data dan memungkinkan pelanggan kami mendapatkan wawasan lebih cepat.”

z-logo

Zenotech Ltd mendefinisikan ulang rekayasa online melalui penggunaan HPC Cloud yang menghadirkan model lisensi sesuai permintaan beserta manfaat performa ekstrem dengan memanfaatkan GPU.

“Di Zenotech kami sedang mengembangkan alat untuk memungkinkan desainer menciptakan produk yang lebih efisien dan ramah lingkungan. Kami bekerja di seluruh industri dan alat kami memberikan wawasan performa produk yang lebih besar melalui penggunaan simulasi skala besar.” kata Jamil Appa, Direktur (Director) Zenotech. “Penggunaan instans P4d AWS, memungkinkan kami menjalankan simulasi 3,5 kali lebih cepat dibandingkan dengan GPU generasi sebelumnya. Kecepatan ini memangkas waktu kami untuk menyelesaikan secara signifikan sehingga memungkinkan pelanggan memasarkan desain dengan lebih cepat atau melakukan simulasi fidelitas yang lebih tinggi dibanding yang mungkin dilakukan sebelumnya.”

aon-200x100

Aon adalah perusahaan layanan profesional global terkemuka yang menyediakan berbagai solusi risiko, pensiun, dan kesehatan. Aon PathWise adalah solusi manajemen risiko HPC berbasis GPU dan bisa diskalakan yang bisa digunakan oleh perusahaan asuransi dan reasuransi, bank, dan dana pensiun untuk mengatasi tantangan utama saat ini seperti pengujian strategi lindung nilai, perkiraan peraturan dan ekonomi, serta penganggaran. 

“Di PathWise Solutions Group LLC, produk kami memungkinkan perusahaan asuransi, reasuransi, dan dana pensiun mengakses teknologi generasi berikutnya untuk memecahkan tantangan asuransi utama saat ini secara cepat seperti machine learning, pengujian strategi lindung nilai, pelaporan peraturan dan keuangan, perencanaan bisnis dan prakiraan ekonomi, serta pengembangan dan penetapan harga produk baru” kata Peter Phillips, Presiden dan CEO (President and CEO), PathWise Solutions Group. "Melalui penggunaan instans P4d Amazon EC2, kami bisa memberikan peningkatan kecepatan yang luar biasa dalam penghitungan presisi tunggal dan ganda dibandingkan instans GPU generasi sebelumnya dalam penghitungan yang paling banyak permintaan, memungkinkan rentang penghitungan dan prakiraan baru dilakukan oleh klien untuk pertama kalinya. Kecepatan itu penting,” kata Phillips, “dan kami terus memberikan nilai yang berarti dan teknologi terbaru kepada pelanggan kami berkat instans baru dari AWS.”

rad_ai

Terdiri dari ahli radiologi dan AI, Rad AI membuat produk yang memaksimalkan produktivitas ahli radiologi, yang pada akhirnya membuat layanan kesehatan lebih mudah diakses dan meningkatkan hasil pasien.

“Di Rad AI, misi kami adalah meningkatkan akses ke dan kualitas pelayanan kesehatan untuk semua orang. Dengan berfokus pada alur kerja pencitraan medis, Rad AI menghemat waktu ahli radiologi, mengurangi kelelahan, dan meningkatkan akurasi,” kata Doktor Gurson, Rekan pendiri (Co-founder) Rad AI. “Kami menggunakan AI untuk mengotomatiskan alur kerja radiologi dan membantu menyederhanakan pelaporan radiologi. Dengan instans P4d EC2 baru, kami melihat inferensi yang lebih cepat dan kemampuan untuk melatih model 2,4x lebih cepat dengan akurasi yang lebih tinggi dibandingkan dengan instans P3 generasi sebelumnya. Hal ini memungkinkan diagnosis yang lebih cepat, lebih akurat, dan akses yang lebih besar ke layanan radiologi berkualitas tinggi yang disediakan oleh pelanggan kami di seluruh AS.“

Baca studi kasus untuk mempelajari selengkapnya »

Detail Produk

Ukuran Instans vCPU Memori Instans (GiB) GPU – A100 Memori GPU Bandwidth Jaringan (Gbps) GPUDirect RDMA Peer to Peer GPU Penyimpanan Instans (GB) Bandwidth EBS (Gbps) Harga sesuai permintaan/jam Instans Cadangan 1 Tahun Efektif Per Jam * Instans Cadangan 3 Tahun Efektif Per Jam *
p4d.24xlarge 96 1152 8 320 GB
HBM2
400 ENA dan EFA Ya 600 GB/s NVSwitch 8 x 1000 NVMe SSD 19 32,77 USD 19,22 USD 11,57 USD
p4de.24xlarge (pratinjau) 96 1152 8 640 GB
HBM2e
400 ENA dan EFA Ya 600 GB/s NVSwitch 8 x 1000 NVMe SSD 19 40,96 USD 24,01 USD 14,46 USD
* - Harga yang ditampilkan adalah untuk Linux/Unix di Wilayah AWS AS Timur (Virginia Utara) dan dibulatkan ke sen terdekat. Untuk detail harga lengkap, lihat halaman harga Amazon EC2.

Instans P4d Amazon EC2 tersedia di wilayah AS Timur (Virginia Utara dan Ohio), AS Barat (Oregon), Eropa (Irlandia dan Frankfurt), dan Asia Pasifik (Tokyo dan Seoul). Sementara instans P4de Amazon EC2 tersedia di wilayah AS Timur (Virginia Utara) dan AS Barat (Oregon) AWS.

Pelanggan dapat membeli instans P4d dan P4de sebagai Instans Sesuai Permintaan, Instans Terpesan, Instans Spot, dan Host Khusus atau sebagai bagian dari Savings Plan.

Mulai menggunakan instans P4d Amazon EC2 untuk machine learning

Menggunakan Amazon SageMaker

Amazon SageMaker adalah layanan yang dikelola sepenuhnya untuk membuat, melatih, dan men- deploy model machine learning. Saat digunakan bersama dengan instans P4d Amazon EC2, pelanggan bisa dengan mudah menskalakan hingga puluhan, ratusan, atau ribuan GPU untuk melatih model dengan cepat pada skala apa pun tanpa khawatir tentang penyiapan klaster dan data pipeline.

Menggunakan AMI Deep Learning AWS atau Deep Learning Containers

AWS Deep Learning AMIs (DLAMI) menyediakan infrastruktur dan peralatan bagi praktisi dan peneliti ML untuk mempercepat deep learning di cloud dalam skala apa pun. AWS Deep Learning Containers adalah citra Docker yang telah diinstal sebelumnya dengan kerangka kerja deep learning untuk memudahkan men -deploy lingkungan ML kustom secara cepat dengan memungkinkan Anda melewatkan proses rumit dalam membangun dan mengoptimalkan lingkungan Anda dari awal.

Menggunakan Amazon Elastic Kubernetes Service (EKS) atau Elastic Container Service (ECS)

Pelanggan yang lebih memilih untuk mengelola beban kerja kontainer mereka sendiri melalui layanan orkestrasi kontainer bisa men- deploy instans P4d Amazon EC2 dengan Amazon EKS atau ECS.

Memulai instans P4d Amazon EC2 untuk komputasi berperforma tinggi

Instans P4d Amazon EC2 merupakan platform yang ideal untuk menjalankan simulasi teknik, keuangan komputasional, analisis seismik, pemodelan molekul, genomik, rendering, dan beban kerja komputasi tinggi (HPC) berbasis GPU lainnya. Aplikasi HPC sering kali memerlukan performa jaringan yang tinggi, penyimpanan cepat, memori dalam jumlah besar, kemampuan komputasi tinggi, atau semua yang disebutkan di atas. Instans P4d mendukung Elastic Fabric Adapter (EFA) yang memungkinkan aplikasi HPC menggunakan Message Passing Interface (MPI) untuk menskalakan ribuan GPU. AWS Batch dan AWS ParallelCluster memungkinkan developer HPC membangun dan menskalakan aplikasi HPC terdistribusi dengan cepat.

Pelajari selengkapnya »

Postingan blog & artikel

 
oleh Amr Ragab 
2 November 2020

Sumber daya tambahan

EC2 UltraClusters pada instans P4d (1:59)
Amazon EC2 P4d vs P3: Pemrosesan Bahasa Alami (0:34)
Amazon EC2 P4d vs P3: Ucapan ke teks (0:33)
Amazon EC2 P4d vs P3: Klasifikasi Gambar (0:37)

Mulai menggunakan AWS

Mendaftar akun AWS

Mendaftar akun AWS

Dapatkan akses secara instan ke AWS Tingkat Gratis.

Pelajari dengan tutorial sederhana

Pelajari dengan tutorial 10 menit

Jelajahi dan pelajari dengan tutorial sederhana.

Mulai membangun dengan EC2 di konsol

Mulai membangun di konsol

Mulai membangun dengan panduan langkah demi langkah untuk membantu Anda meluncurkan proyek AWS.