Instans P4 Amazon EC2

Dengan GPU NVIDIA A100 Tensor Core generasi terbaru, setiap instans P4d memberikan performa DL rata-rata 2,5x lebih baik dibandingkan dengan instans P3 generasi sebelumnya. Instans P4d EC2 UltraClusters membantu developer, ilmuwan data, dan peneliti menjalankan beban kerja ML dan HPC mereka yang paling kompleks setiap harinya dengan memberikan akses ke performa kelas komputer super tanpa biaya di muka atau komitmen jangka panjang. Pengurangan waktu pelatihan dengan instans P4d dapat meningkatkan produktivitas sehingga memungkinkan developer berfokus pada misi inti dalam membangun kecerdasan ML ke dalam aplikasi bisnis.

Developer dapat dengan lancar menskalakan hingga ribuan GPU dengan instans P4d EC2 UltraClusters. Jaringan throughput tinggi dan latensi rendah dengan dukungan untuk jaringan instans 400 Gbps, Elastic Fabric Adapter (EFA), dan teknologi GPUDirect RDMA membantu melatih model ML secara cepat menggunakan teknik penskalaan ke luar/terdistribusi. EFA menggunakan NVIDIA Collective Communications Library (NCCL) untuk menskalakan ke ribuan GPU, dan teknologi GPUDirect RDMA memungkinkan komunikasi GPU ke GPU berlatensi rendah di antara instans P4d.

Instans P4d menawarkan biaya hingga 60% lebih rendah untuk melatih model ML dibandingkan dengan instans P3. Selain itu, instans P4d dapat dibeli sebagai Instans Spot. Instans Spot memanfaatkan kapasitas instans EC2 yang tidak terpakai dan dapat menurunkan biaya Amazon EC2 secara signifikan dengan diskon hingga 90% dari harga Sesuai Permintaan. Dengan biaya pelatihan ML yang lebih rendah dengan instans P4d, anggaran dapat dialokasikan ulang untuk membangun lebih banyak kecerdasan ML ke aplikasi bisnis.

AWS Deep Learning AMI (DLAMI) dan Amazon Deep Learning Containers memudahkan deployment lingkungan DL P4d dalam hitungan menit karena berisi pustaka dan alat kerangka kerja DL yang dibutuhkan. Anda juga dapat menambahkan pustaka dan alat Anda sendiri dengan mudah ke citra ini. Instans P4d mendukung kerangka kerja ML populer seperti TensorFlow, PyTorch, dan MXNet. Selain itu, instans P4d didukung oleh layanan AWS utama untuk ML, manajemen, dan orkestrasi seperti Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS Batch, dan AWS ParallelCluster.

GPU NVIDIA A100 Tensor Core menghadirkan percepatan skala besar yang belum pernah ada sebelumnya untuk ML dan HPC. Tensor Core generasi ketiga NVIDIA A100 mengakselerasi setiap beban kerja presisi sehingga mempercepat waktu untuk mendapatkan wawasan dan waktu masuk pasar. Setiap GPU A100 menawarkan lebih dari 2,5x performa komputasi dibandingkan dengan GPU V100 generasi sebelumnya dan dilengkapi dengan memori GPU performa tinggi HBM2 sebesar 40 GB (di instans P4d) atau HBM2e sebesar 80 GB (di instans P4de). Memori GPU yang lebih tinggi secara khusus memberikan manfaat untuk pelatihan beban kerja tersebut pada set data besar dari data resolusi tinggi. GPU NVIDIA A100 menggunakan throughput interkoneksi GPU NVSwitch sehingga setiap GPU dapat berkomunikasi dengan setiap GPU lainnya di instans yang sama pada throughput dua arah 600 GB/dtk yang sama dan dengan latensi hop tunggal.

Instans P4d menyediakan jaringan 400 Gbps guna membantu pelanggan untuk secara lebih baik menskalakan ke luar beban kerja terdistribusi seperti pelatihan multisimpul secara lebih efisien dengan jaringan throughput tinggi di antara instans P4d dan di antara instans P4d serta layanan penyimpanan seperti Amazon Simple Storage Service (Amazon S3) dan FSx for Lustre. EFA adalah antarmuka jaringan kustom yang didesain oleh AWS untuk membantu menskalakan aplikasi ML dan HPC ke ribuan GPU. Untuk lebih mengurangi latensi, EFA digabungkan dengan NVIDIA GPUDirect RDMA agar memungkinkan komunikasi GPU ke GPU dengan latensi rendah di antara berbagai server tanpa melalui OS.

Akses penyimpanan dengan throughput tinggi dan latensi rendah berskala petabita menggunakan FSx for Lustre atau penyimpanan hemat biaya yang hampir tidak terbatas dengan Amazon S3 pada kecepatan 400 Gbps. Untuk beban kerja yang memerlukan akses cepat ke set data besar, setiap instans P4d juga menyertakan penyimpanan SSD berbasis NVMe sebesar 8 TB dengan throughput baca 16 GB/dtk.

Instans P4d dibangun di AWS Nitro System, yang merupakan kumpulan kaya atas komponen dasar yang mengalihkan beban berbagai fungsi virtualisasi konvensional ke perangkat keras dan perangkat lunak khusus untuk memberikan performa tinggi, ketersediaan tinggi, dan keamanan tinggi sekaligus mengurangi overhead virtualisasi.

Amazon SageMaker adalah layanan yang dikelola sepenuhnya untuk membangun, melatih, dan menerapkan model ML. Saat digunakan bersama dengan instans P4d, pelanggan dapat dengan mudah menskalakan puluhan, ratusan, atau ribuan GPU untuk melatih model secara cepat pada semua skala tanpa perlu khawatir dengan penyiapan klaster dan pipeline data.

DLAMI menyediakan infrastruktur dan alat bagi praktisi ML dan peneliti untuk mempercepat DL di cloud, dalam skala apa pun. Deep Learning Contain ers adalah gambar Docker yang sudah diinstal sebelumnya dengan kerangka kerja DL untuk mempermudah penerapan lingkungan ML khusus dengan memungkinkan Anda melewatkan proses rumit membangun dan mengoptimalkan lingkungan Anda dari awal.

Jika Anda lebih suka mengelola beban kerja kontainer Anda sendiri melalui layanan orkestrasi kontainer, Anda dapat menerapkan instans P4d dengan Amazon EKS atau Amazon ECS.