Amazon EC2 P4 Bulut Sunucuları

Bulutta makine öğrenimi eğitimi ve HPC uygulamaları için yüksek performans

P4 Bulut Sunucularını kullanmaya başlayın
Gelecekte kullanmak üzere rezerve edin

Neden Amazon EC2 P4 Bulut Sunucuları?

Amazon Elastic Compute Cloud (Amazon EC2) P4d bulut sunucuları, makine öğrenimi (ML) eğitimi ve yüksek performanslı bilgi işlem (HPC) uygulamaları için bulutta yüksek performans sunar. P4d bulut sunucuları, NVIDIA A100 Tensor Core GPU'lar tarafından desteklenir ve endüstri lideri yüksek aktarım hızı ve düşük gecikmeli ağ iletişimi sunar. Bu bulut sunucuları 400 Gb/sn bulut sunucusu ağını destekler. P4d bulut sunucuları, önceki nesil P3 ve P3dn bulut sunucularına kıyasla derin öğrenme modelleri için ortalama 2,5 kat daha iyi performans da dahil olmak üzere makine öğrenimi modellerini eğitmek için %60'a kadar daha düşük maliyet sağlar.

P4d bulut sunucuları, yüksek performanslı bilgi işlem, ağ oluşturma ve bulutta depolamayı içeren Amazon EC2 UltraClusters adı verilen yüksek ölçekli kümelerde dağıtılır. Her EC2 UltraCluster, dünyanın en güçlü süper bilgisayarlarından biridir ve en karmaşık çok kodlu makine öğrenimi eğitiminizi ve dağıtılmış HPC iş yüklerinizi çalıştırmanızı sağlar. Makine öğrenimi veya HPC proje ihtiyaçlarınıza göre EC2 UltraClusters'ta birkaç ila binlerce NVIDIA A100 GPU'yu kolayca ölçeklendirebilirsiniz.

Araştırmacılar, veri bilimciler ve geliştiriciler; doğal dil işleme, nesne algılama, sınıflandırma ve öneri motorları gibi kullanım durumları için makine öğrenimi modellerini eğitmek için P4d bulut sunucularını kullanabilir. Ayrıca farmasötik keşif, sismik analiz ve finansal modelleme gibi HPC uygulamalarını çalıştırmak için de kullanabilirler. Şirket içi sistemlerin haricinde, neredeyse sınırsız bilgi işlem ve depolama kapasitesine erişebilir, altyapınızı işletme ihtiyaçlarına göre ölçeklendirebilir ve çok kodlu bir makine öğrenimi eğitimi işini veya sıkı bağlanmış bir HPC uygulamasını herhangi bir kurulum veya bakım maliyeti olmadan dakikalar içinde başlatabilirsiniz.

Karşınızda yeni Amazon EC2 P4d Bulut Sunucuları

Avantajlar

En yeni nesil NVIDIA A100 Tensor Core GPU'larla her bir P4d bulut sunucusu, önceki nesil P3 bulut sunucularına kıyasla ortalama 2,5 kat daha iyi derin öğrenme performansı sunar. P4d bulut sunucularının EC2 UltraClusters'ı, herhangi bir ön ödeme veya uzun vadeli taahhütler olmadan süper bilgi işlem sınıfı performansa erişim sağlayarak günlük geliştiricilerin, veri bilimcilerinin ve araştırmacıların en karmaşık makine öğrenimi ve HPC iş yüklerini çalıştırmalarını sağlar. P4d bulut sunucularıyla daha kısa eğitim süresi, üretkenliği artırır ve geliştiricilerin iş uygulamalarında makine öğrenimi zekası oluşturma temel misyonlarına odaklanmalarını sağlar.

Geliştiriciler, P4d bulut sunucularının EC2 UltraClusters ile binlerce GPU'ya kadar sorunsuz bir şekilde ölçeklendirebilir. 400 GB/sn bulut sunucusu ağı desteği, Esnek Yapı Bağdaştırıcısı (EFA) ve GPUDirect RDMA teknolojisiyle yüksek aktarım hızlı, düşük gecikme süreli ağ oluşturma, ölçeklenme/dağıtılmış teknikleri kullanarak makine öğrenimi modellerinin hızla eğitilmesini sağlar. EFA, binlerce GPU'ya ölçeklendirmek için NVIDIA Collective Communications Library'i (NCCL) kullanır ve GPUDirect RDMA teknolojisi, P4d bulut sunucuları arasında düşük gecikmeli GPU'dan GPU'ya iletişim sağlar.

P4d bulut sunucuları, makine öğrenimi modellerini eğitmek için P3 bulut sunucularına kıyasla %60'a kadar daha düşük maliyet sunar. Ayrıca, P4d bulut sunucuları Spot Bulut Sunucuları olarak satın alınabilir. Spot Bulut Sunucuları, kullanılmayan EC2 bulut sunucusu kapasitesinden yararlanır ve EC2 maliyetlerinizi, İstek Üzerine fiyatlarından %90'a varan oranda düşürür. P4d bulut sunucularıyla daha düşük makine öğrenimi eğitimi maliyeti sayesinde işletme uygulamalarına daha fazla makine öğrenimi zekası oluşturmak için bütçeler yeniden tahsis edilebilir.

AWS Derin Öğrenme AMI'leri (DLAMI'ler) ve Amazon Derin Öğrenme Container'ları, gerekli derin öğrenme çerçeve kitaplıklarını ve araçlarını içerdiğinden, P4d derin öğrenme ortamlarının dakikalar içinde dağıtılmasını kolaylaştırır. Ayrıca bu görüntülere kendi kitaplıklarınızı ve araçlarınızı daha kolay ekleyebilirsiniz. P4d bulut sunucuları TensorFlow, PyTorch ve MXNet gibi popüler makine öğrenimi çerçevelerini destekler. Ayrıca P4d bulut sunucuları; Amazon SageMaker, Amazon Esnek Kubernetes Hizmeti (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS Toplu İşlem ve AWS ParallelCluster gibi makine öğrenimi, yönetim ve düzenleme için başlıca AWS hizmetleri tarafından desteklenir.

Özellikler

NVIDIA A100 Tensor Core GPU'lar, makine öğrenimi ve HPC için eşi benzeri görülmemiş ölçekte hızlandırma sağlar. NVIDIA A100'ün üçüncü nesil Tensor Core'ları, her hassas iş yükünü hızlandırarak öngörü ve pazara sunma süresini hızlandırır. Her A100 GPU, önceki nesil V100 GPU'suna kıyasla 2,5 kat daha fazla işlem performansı sunar ve 40 GB HBM2 (P4d bulut sunucuları) veya 80 GB HBM2e (P4de bulut sunucuları) yüksek performanslı GPU belleğiyle birlikte gelir. Daha yüksek GPU belleği, yüksek çözünürlüklü verilerin büyük veri kümeleri üzerinde eğitim veren iş yüklerine özellikle fayda sağlar. NVIDIA A100 GPU'lar NVSwitch GPU ara bağlantı aktarım hızı kullanır, böylece her GPU aynı bulut sunucusundaki diğer tüm GPU'larla aynı 600 GB/sn çift yönlü aktarım hızı ve tek atlama gecikmesiyle iletişim kurabilir.

P4d bulut sunucuları, P4d bulut sunucuları arasında ve bir P4d bulut sunucusuyla Amazon Simple Storage Service (Amazon S3) ve Lustre İçin Amazon FSx gibi depolama hizmetleri arasında yüksek aktarım hızlı ağ iletişimi oluşturma sayesinde müşterilerin çok kodlu eğitim gibi dağıtılmış iş yüklerini daha verimli bir şekilde ölçeklendirmelerini sağlamak için 400 GB/sn ağ iletişimi sağlar. EFA, AWS tarafından makine öğrenimi ve HPC uygulamalarını binlerce GPU'ya ölçeklendirmeyi sağlamak için tasarlanmış özel bir ağ arabirimidir. Gecikmeyi daha da azaltmak için EFA, işletim sistemi atlama özellikli sunucular arasında düşük gecikmeli GPU'dan GPU'ya iletişimi sağlamak için NVIDIA GPUDirect RDMA ile birleştirilmiştir.

Lustre İçin Amazon FSx ile petabayt ölçekli yüksek aktarım hızlı, düşük gecikmeli depolamaya veya Amazon S3 ile 400 GB/sn hızlarda neredeyse sınırsız uygun maliyetli depolamaya erişin. Büyük veri kümelerine hızlı erişim gerektiren iş yükleri için her P4d bulut sunucusu, ayrıca 16 GB/sn okuma aktarım hızına sahip 8 TB NVMe temelli SSD depolama içerir.

P4d bulut sunucuları, sanallaştırma ek yükünü azaltırken aynı zamanda yüksek performans, yüksek erişilebilirlik ve yüksek güvenlik sağlamak için geleneksel sanallaştırma işlevlerinin çoğunu özel donanım ve yazılımlara aktaran zengin bir yapı taşları koleksiyonu olan AWS Nitro System üzerinde oluşturulmuştur.

Müşteri görüşleri

Müşterilerin ve çözüm ortaklarının, Amazon EC2 P4 bulut sunucularıyla işletme hedeflerine nasıl ulaştıklarına ilişkin bazı örnekleri aşağıda bulabilirsiniz.

  • Toyota Research Institute (TRI)

    2015 yılında kurulan Toyota Research Institute (TRI), Toyota için otomatik sürüş, robotik ve diğer insan amplifikasyon teknolojilerini geliştirmek için çalışıyor.

    TRI olarak, herkesin hareket etme özgürlüğüne sahip olduğu bir gelecek inşa etmek için çalışıyoruz. Önceki nesil P3 bulut sunucuları, makine öğrenimi modellerini eğitme süremizi günlerden saatlere indirmemizi sağladı. Ek GPU belleği ve daha verimli kayan nokta formatları makine öğrenimi ekibimizin daha karmaşık modellerle daha hızlı bir şekilde eğitim almasını sağlayacağından P4d bulut sunucularını kullanmayı dört gözle bekliyoruz.

    Mike Garrison, TRI Altyapı Mühendisliği Teknik Lideri

  • TRI-AD

    TRI-AD'da, uyarlanabilir sürüş ve akıllı şehir kullanılarak araç yaralanmalarını ve ölümlerini azaltmaya odaklanıp herkesin hem hareket etme hem de keşfetme özgürlüğüne sahip olduğu bir gelecek inşa etmek için çalışıyoruz. Amazon EC2 P4d bulut sunucularını kullanarak, nesne tanıma eğitim süremizi önceki nesil GPU bulut sunucularına kıyasla, mevcut kodlarda herhangi bir değişiklik yapmadan %40 oranında azaltabildik.

    Junya Inada, TRI-AD Otomatik Sürüş (Tanıma) Direktörü

  • TRI-AD

    Amazon EC2 P4d bulut sunucularını kullanarak, önceki nesil GPU bulut sunucularına kıyasla eğitim maliyetlerimizi anında azaltabildik ve model eğitimi üzerinde çalışan ekip sayısını artırabildik. P4d'deki ağ geliştirmeleri, düzinelerce bulut sunucusuna verimli bir şekilde ölçeklendirmemizi sağladı ve bu da daha fazla test için test araçlarında veya simülasyon ortamlarında modelleri hızla optimize etmek, yeniden eğitmek ve dağıtmak için bize önemli bir çeviklik kazandırdı.

    Jack Yan, TRI-AD Altyapı Mühendisliği Kıdemli Direktörü

  • GE Healthcare

    GE Healthcare, önde gelen bir küresel tıbbi teknoloji ve dijital çözüm yenilikçisidir. GE Healthcare, doktorların Edison istihbarat platformu tarafından desteklenen akıllı cihazlar, veri analizleri, uygulamalar ve hizmetler aracılığıyla hem daha hızlı hem de daha bilinçli kararlar almalarını sağlar.

    GE Healthcare'de doktorlara; verileri toplamalarını, bu veriler için yapay zeka ve analiz uygulamalarını oluşturarak hasta sonuçlarını iyileştiren, verimliliği artıran ve hataları ortadan kaldıran öngörüleri ortaya çıkarmalarını sağlayan araçlar sunuyoruz. Tıbbi görüntüleme cihazlarımız, veri bilimcilerimiz tarafından işlenmesi gereken büyük miktarda veri üretiyor. Önceki GPU kümelerinde simülasyonlar için Aşamalı GAN'ler gibi karmaşık yapay zeka modellerini eğitmek ve sonuçları görüntülemek günler alıyordu. Yeni P4d bulut sunucularının kullanılması işlem süresini günlerden saatlere düşürdü. Çeşitli görüntü boyutlarına sahip eğitim modellerinde iki veya üç kat daha yüksek hız gördük, daha yüksek grup boyutu ve daha hızlı bir model geliştirme döngüsüyle daha yüksek üretkenlik elde ettik.

    Karley Yoder, GM Healthcare Yapay Zeka Başkan Yardımcısı ve Genel Müdürü

  • HEAVY.AI

    HEAVY.AI, hızlandırılmış analizde öncüdür. HEAVY.AI platformu, ana analiz araçlarının sınırlarının ötesinde verilerle ilgili öngörüler bulmak için işletmelerde ve devlet kurumlarında kullanılır.

    HEAVY.AI olarak, veri bilimi ve analizin veri silolarını parçalamak ve birleştirmek için bir araya geldiği bir gelecek inşa etmek için çalışıyoruz. Müşteriler, uzamsal zamansal verilerin ayrıntılı görselleştirilmesi yoluyla yalnızca neler olup bittiğinin değil, ne zaman ve nerede olduğunun tam bir resmini oluşturmak için hem konum hem de zamanı içerebilecek büyük miktarda veriden yararlanıyor. Teknolojimiz ayrıntılarla birlikte büyük resmi görmenizi sağlıyor. Amazon EC2 P4d bulut sunucularını kullanarak platformumuzu dağıtma maliyetini önceki nesil GPU bulut sunucularına kıyasla önemli ölçüde azaltabildik ve böylece büyük veri kümelerini uygun maliyetli bir şekilde ölçeklendirmemizi sağladı. A100'deki ağ oluşturma iyileştirmeleri, milyarlarca veri satırına ölçeklendirme yöntemimiz konusundaki verimliliğimizi artırdı ve müşterilerimizin, öngörüleri daha da hızlı toplamasını sağladı.

    Ray Falcione, HEAVY.AI ABD Kamu Sektörü Başkan Yardımcısı

  • Zenotech Ltd.

    Zenotech Ltd., GPU'lardan yararlanarak olağanüstü performans avantajlarıyla birlikte istek üzerine lisanslama modelleri sunan HPC Bulutları kullanarak çevrim içi mühendisliği yeniden tanımlıyor.

    Zenotech'te tasarımcıların daha verimli ve çevre dostu ürünler oluşturmalarını sağlayacak araçlar geliştiriyoruz. Sektörler arası çalışıyoruz ve araçlarımız büyük ölçekli simülasyon kullanarak daha fazla ürün performansı öngörüsü sağlıyor. AWS P4d bulut sunucularının kullanımı, simülasyonlarımızı önceki nesil GPU'lara kıyasla 3,5 kat daha hızlı çalıştırmamızı sağlıyor. Bu hız, çözüm zamanımızı önemli ölçüde kısaltarak müşterilerimizin tasarımları pazara daha hızlı sunmasını veya daha önce mümkün olandan daha yüksek doğrulukta simülasyonlar yapmasını sağlıyor.

    Jamil Appa, Zenotech Direktör ve Kurucu Ortağı

  • Aon

    Aon, geniş bir yelpazede risk, emeklilik ve sağlık çözümleri sunan lider bir küresel profesyonel hizmetler firmasıdır. Aon PathWise; sigortacıların ve reasürörlerin, bankaların ve emeklilik fonlarının riskten korunma stratejisi testi, düzenleyici ve ekonomik tahmin ve bütçeleme gibi günümüzün temel zorluklarını ele almak için kullanabileceği hem GPU tabanlı hem de ölçeklenebilir bir HPC risk yönetimi çözümüdür. 

    Ürünümüz, PathWise Solutions Group LLC'de sigorta şirketlerinin, reasürörlerin ve emeklilik fonlarının makine öğrenimi, riskten korunma stratejisi testi, düzenleyici ve finansal raporlama, işletme planlaması, ekonomik tahmin, yeni ürün geliştirme ve fiyatlandırma gibi günümüzün temel sigorta zorluklarını hızla çözmek adına yeni nesil teknolojiye erişmesini sağlar. Amazon EC2 P4d bulut sunucularının kullanımı sayesinde, en zorlu hesaplamalar için önceki nesil GPU bulut sunucularına kıyasla hem tek hem de çift hassasiyetli hesaplamalar için inanılmaz hız iyileştirmeleri sunabiliyoruz ve müşteriler tarafından ilk kez yeni hesaplama ve tahmin yelpazesi yapılmasına imkan veriyoruz. Hız önemlidir ve AWS'nin yeni bulut sunucuları sayesinde müşterilerimize önemli değeri ve son teknolojiyi sunmaya devam ediyoruz.

    Van Beach, Küresel Yaşama Çözümleri Başkanı, Aon Pathwise Strateji ve Teknoloji Grubu

  • Rad AI

    Hem radyoloji hem de yapay zeka uzmanlarından oluşan Rad AI, radyolog üretkenliğini en üst düzeye çıkaran, sağlık hizmetlerini daha yaygın olarak erişilebilir hale getiren ve hasta sonuçlarını iyileştiren ürünler üretir. Daha fazla bilgi edinmek için örnek olay incelemesini okuyun

    Rad AI'daki misyonumuz, herkes için sağlık hizmetlerine erişimi ve bu hizmetlerin kalitesini artırmaktır. Tıbbi görüntüleme iş akışına odaklanan Rad AI, radyologlara zaman kazandırır, yıpranmayı azaltır ve doğruluğu artırır. Radyoloji iş akışlarını otomatikleştirmek ve radyoloji raporlamasını kolaylaştırmayı sağlamak için yapay zeka kullanıyoruz. Yeni EC2 P4d bulut sunucularıyla önceki nesil P3 bulut sunucularına kıyasla daha hızlı çıkarım yapma ve modelleri 2,4 kat daha hızlı eğitme imkanına erişebildik. Bu sunucular, ABD'deki müşterilerimiz tarafından sağlanan yüksek kaliteli radyoloji hizmetlerine daha hızlı ve doğru teşhisin yanı sıra daha fazla erişim sağlar.

    Doktor Gurson, Rad AI Kurucu Ortağı

Ürün ayrıntıları

Bulut Sunucusu Boyutu vCPU sayısı Bulut Sunucusu Belleği (GiB) GPU - A100 GPU belleği Ağ Bant Genişliği (Gbps) GPUDirect RDMA GPU Eşler Arası Bulut Sunucusu Geçici Diski (GB) EBS Bant Genişliği (Gbps) İstek Üzerine Fiyatı/sa 1 Yıl Rezerve Edilmiş Bulut Sunucusu Saatlik Olarak Geçerli * 3 Yıl Rezerve Edilmiş Bulut Sunucusu Saatlik Olarak Geçerli *
p4d.24xlarge 96 1152 8 320 GB
HBM2		 400 ENA ve EFA Evet 600 GB/s NVSwitch 8 x 1000 NVMe SSD 19 32,77 USD 19,22 USD 11,57 USD
p4de.24xlarge (önizleme) 96 1152 8 640 GB
HBM2e		 400 ENA ve EFA Evet 600 GB/s NVSwitch 8 x 1000 NVMe SSD 19 40,96 USD 24,01 USD 14,46 USD
* Gösterilen fiyatlar, ABD Doğu (Kuzey Virginia) AWS bölgesinde Linux/Unix içindir ve en yakın kura yuvarlanır. Tüm fiyatlandırma ayrıntıları için Amazon EC2 Fiyatlandırma sayfasına bakın.

P4d bulut sunucuları; ABD Doğu (Kuzey Virginia ve Ohio), ABD Batı (Oregon), Asya Pasifik (Seul ve Tokyo) ile Avrupa (Frankfurt ve İrlanda) bölgelerinde kullanılabilir. P4de bulut sunucuları, ABD Doğu (Kuzey Virginia) ve ABD Batı (Oregon) bölgelerinde kullanılabilir.

Müşteriler P4d ve P4de bulut sunucularını; İstek Üzerine Bulut Sunucuları, Rezerve Edilmiş Bulut Sunucuları, Spot Bulut Sunucuları, Tahsis Edilmiş Ana Sunucular veya Tasarruf Planı'nın bir parçası olarak satın alabilir.

Makine öğrenimi için P4d bulut sunucularını kullanmaya başlama

Amazon SageMaker, makine öğrenimi modelleri oluşturup bunları eğitmeye ve dağıtmaya yönelik, tam olarak yönetilen bir hizmettir. P4d bulut sunucularıyla birlikte kullanıldığında, müşteriler bir modeli ölçeğinden bağımsız olarak, kümeler ve veri işlem hatları ayarlama konusunda endişelenmeleri gerekmeksizin hızla eğitmek için ölçeği onlarca, yüzlerce veya binlerce GPU içerecek şekilde kolayca genişletebiliyor.

DLAMI, makine öğrenimi uygulayıcılarına ve araştırmacılarına bulutta ve tüm ölçeklerde derin öğrenmeyi hızlandırmak için kullanabilecekleri altyapıyı ve araçları sunar. Derin Öğrenme Container'ları, ortamlarınızı sıfırdan oluşturma ve optimize etme gibi karmaşık bir işlemi atlamanızı sağlayarak özel makine öğrenimi ortamlarını hızlı bir şekilde dağıtmanızı kolaylaştırmak amacıyla derin öğrenme çerçeveleri önceden yüklenmiş olarak sunulan Docker görüntüleridir.

Kendi container'lı iş yüklerinizi container düzenleme hizmetleri aracılığıyla yönetmeyi tercih ederseniz P4d bulut sunucularını Amazon EKS veya Amazon ECS ile dağıtabilirsiniz.

HPC için P4d bulut sunucularını kullanmaya başlama

P4d bulut sunucuları; mühendislik simülasyonları, hesaplamalı finans, sismik analiz, moleküler modelleme, genomik, görsel işleme ve diğer GPU temelli HPC iş yüklerini çalıştırmak için idealdir. HPC uygulamaları genellikle yüksek ağ performansı, hızlı depolama, büyük miktarda bellek, çok yüksek kapasiteli işlem özellikleri ya da bunların hepsini birden gerektirir. P4d bulut sunucuları, HPC uygulamalarının binlerce GPU'ya ölçeklendirmek için Message Passing Interface'i (MPI) kullanmasını sağlayan EFA'yı destekler. AWS Toplu İşlem ve AWS ParallelCluster, HPC geliştiricilerinin dağıtılmış HPC uygulamalarını hızla oluşturmasına ve ölçeklendirmesine yardımcı olur.

Daha fazla bilgi edinin