Amazon EC2 P4 Bulut Sunucuları

En yeni nesil NVIDIA A100 Tensor Core GPU'larla her bir P4d bulut sunucusu, önceki nesil P3 bulut sunucularına kıyasla ortalama 2,5 kat daha iyi derin öğrenme performansı sunar. P4d bulut sunucularının EC2 UltraClusters'ı, herhangi bir ön ödeme veya uzun vadeli taahhütler olmadan süper bilgi işlem sınıfı performansa erişim sağlayarak günlük geliştiricilerin, veri bilimcilerinin ve araştırmacıların en karmaşık makine öğrenimi ve HPC iş yüklerini çalıştırmalarını sağlar. P4d bulut sunucularıyla daha kısa eğitim süresi, üretkenliği artırır ve geliştiricilerin iş uygulamalarında makine öğrenimi zekası oluşturma temel misyonlarına odaklanmalarını sağlar.

Geliştiriciler, P4d bulut sunucularının EC2 UltraClusters ile binlerce GPU'ya kadar sorunsuz bir şekilde ölçeklendirebilir. 400 GB/sn bulut sunucusu ağı desteği, Esnek Yapı Bağdaştırıcısı (EFA) ve GPUDirect RDMA teknolojisiyle yüksek aktarım hızlı, düşük gecikme süreli ağ oluşturma, ölçeklenme/dağıtılmış teknikleri kullanarak makine öğrenimi modellerinin hızla eğitilmesini sağlar. EFA, binlerce GPU'ya ölçeklendirmek için NVIDIA Collective Communications Library'i (NCCL) kullanır ve GPUDirect RDMA teknolojisi, P4d bulut sunucuları arasında düşük gecikmeli GPU'dan GPU'ya iletişim sağlar.

P4d bulut sunucuları, makine öğrenimi modellerini eğitmek için P3 bulut sunucularına kıyasla %60'a kadar daha düşük maliyet sunar. Ayrıca, P4d bulut sunucuları Spot Bulut Sunucuları olarak satın alınabilir. Spot Bulut Sunucuları, kullanılmayan EC2 bulut sunucusu kapasitesinden yararlanır ve EC2 maliyetlerinizi, İstek Üzerine fiyatlarından %90'a varan oranda düşürür. P4d bulut sunucularıyla daha düşük makine öğrenimi eğitimi maliyeti sayesinde işletme uygulamalarına daha fazla makine öğrenimi zekası oluşturmak için bütçeler yeniden tahsis edilebilir.

AWS Derin Öğrenme AMI'leri (DLAMI'ler) ve Amazon Derin Öğrenme Container'ları, gerekli derin öğrenme çerçeve kitaplıklarını ve araçlarını içerdiğinden, P4d derin öğrenme ortamlarının dakikalar içinde dağıtılmasını kolaylaştırır. Ayrıca bu görüntülere kendi kitaplıklarınızı ve araçlarınızı daha kolay ekleyebilirsiniz. P4d bulut sunucuları TensorFlow, PyTorch ve MXNet gibi popüler makine öğrenimi çerçevelerini destekler. Ayrıca P4d bulut sunucuları; Amazon SageMaker, Amazon Esnek Kubernetes Hizmeti (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS Toplu İşlem ve AWS ParallelCluster gibi makine öğrenimi, yönetim ve düzenleme için başlıca AWS hizmetleri tarafından desteklenir.

NVIDIA A100 Tensor Core GPU'lar, makine öğrenimi ve HPC için eşi benzeri görülmemiş ölçekte hızlandırma sağlar. NVIDIA A100'ün üçüncü nesil Tensor Core'ları, her hassas iş yükünü hızlandırarak öngörü ve pazara sunma süresini hızlandırır. Her A100 GPU, önceki nesil V100 GPU'suna kıyasla 2,5 kat daha fazla işlem performansı sunar ve 40 GB HBM2 (P4d bulut sunucuları) veya 80 GB HBM2e (P4de bulut sunucuları) yüksek performanslı GPU belleğiyle birlikte gelir. Daha yüksek GPU belleği, yüksek çözünürlüklü verilerin büyük veri kümeleri üzerinde eğitim veren iş yüklerine özellikle fayda sağlar. NVIDIA A100 GPU'lar NVSwitch GPU ara bağlantı aktarım hızı kullanır, böylece her GPU aynı bulut sunucusundaki diğer tüm GPU'larla aynı 600 GB/sn çift yönlü aktarım hızı ve tek atlama gecikmesiyle iletişim kurabilir.

P4d bulut sunucuları, P4d bulut sunucuları arasında ve bir P4d bulut sunucusuyla Amazon Simple Storage Service (Amazon S3) ve Lustre İçin Amazon FSx gibi depolama hizmetleri arasında yüksek aktarım hızlı ağ iletişimi oluşturma sayesinde müşterilerin çok kodlu eğitim gibi dağıtılmış iş yüklerini daha verimli bir şekilde ölçeklendirmelerini sağlamak için 400 GB/sn ağ iletişimi sağlar. EFA, AWS tarafından makine öğrenimi ve HPC uygulamalarını binlerce GPU'ya ölçeklendirmeyi sağlamak için tasarlanmış özel bir ağ arabirimidir. Gecikmeyi daha da azaltmak için EFA, işletim sistemi atlama özellikli sunucular arasında düşük gecikmeli GPU'dan GPU'ya iletişimi sağlamak için NVIDIA GPUDirect RDMA ile birleştirilmiştir.

Lustre İçin Amazon FSx ile petabayt ölçekli yüksek aktarım hızlı, düşük gecikmeli depolamaya veya Amazon S3 ile 400 GB/sn hızlarda neredeyse sınırsız uygun maliyetli depolamaya erişin. Büyük veri kümelerine hızlı erişim gerektiren iş yükleri için her P4d bulut sunucusu, ayrıca 16 GB/sn okuma aktarım hızına sahip 8 TB NVMe temelli SSD depolama içerir.

P4d bulut sunucuları, sanallaştırma ek yükünü azaltırken aynı zamanda yüksek performans, yüksek erişilebilirlik ve yüksek güvenlik sağlamak için geleneksel sanallaştırma işlevlerinin çoğunu özel donanım ve yazılımlara aktaran zengin bir yapı taşları koleksiyonu olan AWS Nitro System üzerinde oluşturulmuştur.

Amazon SageMaker, ML modelleri oluşturmak, eğitmek ve dağıtmak için tam olarak yönetilen bir hizmettir. P4d bulut sunucularıyla birlikte kullanıldığında, müşteriler bir modeli ölçeğinden bağımsız olarak, kümeler ve veri işlem hatları ayarlama konusunda endişelenmeleri gerekmeksizin hızla eğitmek için ölçeği onlarca, yüzlerce veya binlerce GPU içerecek şekilde kolayca genişletebiliyor.

DLAMI, ML uygulayıcılarına ve araştırmacılarına bulutta DL'yi her ölçekte hızlandırmak için altyapı ve araçlar sağlar. Derin Öğrenme Kapsayıcıları, ortamlarınızı sıfırdan oluşturma ve optimize etme karmaşık sürecini atlamanıza izin vererek özel ML ortamlarını hızlı bir şekilde dağıtmayı kolaylaştırmak için DL çerçeveleriyle önceden yüklenmiş Docker görüntüleridir.

Kapsayıcı düzenleme hizmetleri aracılığıyla kendi konteynerli iş yüklerinizi yönetmeyi tercih ediyorsanız Amazon EKS veya Amazon ECS ile P4d bulut sunucularını dağıtabilirsiniz.