Amazon EC2 P5 Bulut Sunucuları
Derin öğrenme ve HPC uygulamaları için en yüksek performanslı GPU tabanlı bulut sunucuları
En yeni NVIDIA H100 Tensor Core GPU'larla desteklenen Amazon Esnek İşlem Bulutu (Amazon EC2) P5 bulut sunucuları, derin öğrenme (DL) ve yüksek performanslı bilgi işlem (HPC) uygulamaları için Amazon EC2'de en yüksek performansı sunar. Önceki nesil GPU tabanlı EC2 bulut sunucularına kıyasla çözüme ulaşma sürenizi 4 kata kadar hızlandırmanıza ve makine öğrenimi modellerini eğitme maliyetini %40'a kadar azaltmanıza yardımcı olurlar. P5 bulut sunucuları, çözümlerinizi daha hızlı bir şekilde yinelemenize ve pazara daha hızlı ulaşmanıza yardımcı olur. Giderek daha karmaşık hâle gelen büyük dil modellerini (LLM'ler) ve en zorlu üretken yapay zeka (AI) uygulamalarını destekleyen dağıtım modellerini eğitmek ve dağıtmak için P5 bulut sunucularını kullanabilirsiniz. Bu uygulamalar arasında soru yanıtlama, kod oluşturma, video ve görüntü oluşturma ve konuşma tanıma yer alır. P5 bulut sunucularını farmasötik keşif, sismik analiz, hava durumu tahmini ve finansal modelleme için zorlu HPC uygulamalarını geniş ölçekte dağıtmak amacıyla da kullanabilirsiniz.
Bu performans iyileştirmelerini ve maliyet tasarruflarını sağlamak için P5 bulut sunucuları, önceki nesil GPU tabanlı örneklere kıyasla 2 kat daha yüksek CPU performansı, 2 kat daha yüksek sistem belleği ve 4 kat daha yüksek yerel depolama ile NVIDIA H100 Tensor Core GPU'larını tamamlıyor. İkinci nesil Esnek Yapı Bağdaştırıcısı (EFAv2) kullanarak 3.200 Gbps'ye kadar ağ iletişimi ile dağıtılmış eğitim ve sıkı bir şekilde birleştirilmiş HPC iş yükleri için pazar lideri ölçeklendirme yetenekleri sağlarlar. P5 bulut sunucuları, düşük gecikmeyle büyük ölçekli bilgi işlem sunmak için 20.000 H100 GPU'ya kadar ölçeklendirmeye olanak tanıyan Amazon EC2 UltraClusters'a dağıtılır. Bunlar petabit ölçeğinde engellenemeyen bir ağ ile birbirine bağlıdır. EC2 UltraClusters'taki P5 bulut sunucuları, 20 exaflop'a kadar toplam bilgi işlem kapasitesi sunar. Bu, süper bilgisayar performansına eşdeğerdir.
P5 bulut sunucularını gelecekte kullanmak üzere hemen rezerve edin
ML İçin Amazon EC2 Kapasite Blokları ile P5 bulut sunucularını sekiz hafta öncesine kadar kolayca rezerve edin. P5 bulut sunucularını bir ila 14 günlük bir süre için ve bir ila 64 bulut sunucusu (512 GPU) küme boyutlarında rezerve edebilir ve böylece çok çeşitli iş yüklerini çalıştırma esnekliğine sahip olabilirsiniz.
Avantajlar
100 milyarın üzerinde parametre modelini geniş ölçekte eğitin
P5 bulut sunucuları, ultra büyük üretici yapay zeka modellerini geniş ölçekte eğitebilir ve önceki nesil GPU tabanlı EC2 bulut sunucularının 4 katına kadar performans sunabilir.
Çözüm süresini azaltın ve daha hızlı yineleme yapın
P5 bulut sunucuları, eğitim sürelerini ve çözüm süresini haftalardan sadece birkaç güne düşürür. Bu, daha hızlı bir şekilde yinelemenize ve pazara daha hızlı ulaşmanıza yardımcı olur.
DL ve HPC altyapı maliyetlerinizi düşürün
P5 bulut sunucuları, önceki nesil GPU tabanlı EC2 bulut sunucularına kıyasla DL eğitimi ve HPC altyapı maliyetlerinde %40'a varan tasarruf sağlar.
Exascale hesaplama ile dağıtılmış eğitim ve HPC çalıştırın
P5 bulut sunucuları 3.200 Gbps'ye kadar EFaV2 ağı sağlar. Bu bulut sunucuları EC2 UltraClusters'da dağıtılır ve toplam işlem kapasitesi olarak 20 exaflop sunar.
Özellikler
NVIDIA H100 Tensor Core GPU'lar
P5 bulut sunucuları, bulut sunucusu başına toplam 640 GB'ye kadar HBM3 GPU belleğine sahip 8 adede kadar NVIDIA H100 GPU sağlar. P5 bulut sunucuları 900 GB/sn'ye kadar NVSwitch GPU ara bağlantısını destekler (her örnekte toplam 3,6 TB/sn iki bölümlü bant genişliği), böylece her GPU aynı örnekte tek atlamalı gecikmeyle diğer tüm GPU'larla iletişim kurabilir.
Yeni dönüştürücü motoru ve DPX talimatları
NVIDIA H100 GPU'lar, FP8 ve 16 bit hesaplamaları akıllıca yöneten ve dinamik olarak seçim yapan yeni bir dönüştürücü motoruna sahiptir. Bu özellik, önceki nesil A100 GPU'lara kıyasla LLM'lerde DL eğitim hızlarının daha yüksek olmasına yardımcı olur. HPC iş yükleri için NVIDIA H100 GPU'lar, A100 GPU'lara kıyasla dinamik programlama algoritmalarını daha da hızlandıran yeni DPX talimatlarına sahiptir.
Yüksek performanslı ağ iletişimi
P5 bulut sunucuları 3.200 Gbps'ye kadar EFaV2 ağı teslim eder. EFaV2, dağıtılmış eğitim iş yükleri için toplu iletişim performansında %50'ye varan iyileştirme sağlar. EFAv2 ayrıca, işletim sistemi atlamasına sahip sunucular arasında düşük gecikmeli GPU'dan GPU'ya iletişimi sağlamak için NVIDIA GPUDirect RDMA ile ilişkilendirilmiştir.
Yüksek performanslı depolama
P5 bulut sunucuları Lustre İçin Amazon FSx dosya sistemlerini destekler, böylece büyük ölçekli DL ve HPC iş yüklerinde gereken yüzlerce Gb/sn aktarım hızı ve milyonlarca IOPS hızında verilere erişebilirsiniz. Her P5 bulut sunucusu ayrıca büyük veri kümelerine hızlı erişim için 30 TB'a kadar yerel NVMe SSD depolama alanını destekler. Amazon Basit Depolama Hizmeti (Amazon S3) ile uygun maliyetli ve neredeyse sınırsız depolamayı da kullanabilirsiniz.
İkinci nesil EC2 UltraClusters
P5 bulut sunucuları, önceki nesil UltraClusters'a göre daha büyük ölçeklendirme, küme genelinde daha az ağ atlama ve daha düşük gecikme süresi sağlayan bir ağ yapısı sunan ikinci nesil EC2 UltraClusters'da dağıtılır. UltraClusters'taki P5 bulut sunucularının ölçeği, petabit ölçekli ağla birbirine bağlı 20.000 H100 GPU'ya kadar artırılabilir ve bu bulut sunucuları, 20 exaflop toplam işlem yeteneği sunar.
Diğer AWS hizmetleriyle sorunsuz entegrasyon
P5 bulut sunucuları AWS Derin Öğrenme AMI'leri (DLAMI) ve AWS Derin Öğrenme Container'ları kullanılarak dağıtılabilir. Bunlar, Amazon SageMaker, Amazon Esnek Kubernetes Hizmeti (Amazon EKS), Amazon Esnek Container Hizmeti (Amazon ECS), AWS Toplu İşlem ve diğer yönetilen hizmetler aracılığıyla edinilebilir.
Müşteri hikayeleri
Anthropic, ticari olarak ve kamu yararına değer yaratmak için birçok fırsata sahip olacak güvenilir, yorumlanabilir ve yönlendirilebilir yapay zeka sistemleri oluşturuyor.
"Anthropic'te güvenilir, yorumlanabilir ve yönlendirilebilir yapay zeka sistemleri oluşturmak için çalışıyoruz. Günümüzün büyük genel yapay zeka sistemleri önemli faydalara sahip olsa da bunlar öngörülemez, güvenilmez ve şeffaflıktan uzak olabilirler. Amacımız bu konularda ilerleme kaydetmek ve insanların yararlı bulduğu sistemleri dağıtmaktır. Kuruluşumuz, derin öğrenme araştırmalarında temel modeller oluşturan dünyada az sayıdaki kuruluştan biridir. Bu modeller oldukça karmaşıktır ve bu son teknoloji modelleri geliştirmek ve eğitmek için, bunları büyük GPU kümeleri arasında verimli bir şekilde dağıtmamız gerekiyor. Bugün Amazon EC2 P4 bulut sunucularını yoğun bir şekilde kullanıyoruz ve P5 bulut sunucularının kullanıma sunulmasından heyecan duyuyoruz. P4d bulut sunucularına kıyasla önemli fiyat-performans avantajları sunacaklarını ve yeni nesil LLM'ler ve ilgili ürünler oluşturmak için gereken büyük ölçekte kullanılabileceklerini umuyoruz."
Tom Brown, Kurucu Ortak, Anthropic
Dilde yapay zeka alanında lider bir öncü olan Cohere, her geliştiriciye ve kuruluşa, dünya lideri doğal dil işleme (NLP) teknolojisiyle inanılmaz ürünler oluşturma ve aynı zamanda verilerini gizli ve güvende tutma gücü veriyor
"Cohere, her kuruluşun bilgiyi doğal ve sezgisel bir şekilde keşfetmesi, üretmesi, araması ve buna göre hareket etmesi amacıyla dil yapay zekasının gücünden yararlanmasına, her müşteri için en iyi sonucu veren veri ortamındaki birden fazla bulut platformuna dağıtım yapmasına yardımcı olma konusunda sorumluluk üstleniyor. NVIDIA H100 destekli Amazon EC2 P5 bulut sunucuları, Cohere'in son teknoloji ürünü LLM ve üretici yapay zeka yetenekleriyle birleşen bilgi işlem gücüyle işletmelerin daha hızlı yaratma, büyüme ve ölçeklendirme yeteneğini ortaya çıkaracak."
Aidan Gomez, CEO, Cohere
Hugging Face'in misyonu, iyi makine öğrenimini demokratik hâle getirmek.
"En hızlı büyüyen açık kaynaklık ML topluluğu olarak, artık NLP, bilgisayarla görme, biyoloji, pekiştirmeli öğrenme ve daha fazlası için platformumuzda 150.000'den fazla önceden eğitilmiş model ve 25.000 veri kümesi sağlıyoruz. LLM'ler ve üretici yapay zekadaki önemli gelişmelerle birlikte, yarının açık kaynaklı modellerini oluşturmak ve bunlara katkıda bulunmak için AWS ile birlikte çalışıyoruz. Herkes için yeni temel yapay zeka modellerinin sunulmasını hızlandırmak amacıyla Amazon SageMaker aracılığıyla Amazon EC2 P5 bulut sunucularını EFA ile UltraClusters'ta uygun ölçekte kullanmayı sabırsızlıkla bekliyoruz."
Julien Chaumond, CTO ve Kurucu Ortak, Hugging Face
Ürün bilgileri
| Bulut Sunucusu Boyutu | vCPU | Bulut Sunucusu Belleği (TiB) | GPU - H100 | GPU Belleği | Ağ Bant Genişliği | GPUDirectRDMA | GPU Eşler Arası | Bulut Sunucusu Depolama Alanı (TB) | EBS Bant Genişliği (Gb/sn.) |
p5.48xlarge |
192 |
2 |
8 |
640 GB HBM3 |
3.200 Gbps EFAv2 |
Evet |
900 GB/s NVSwitch |
8 x 3.84 NVMe SSD |
80 |
*Gösterilen fiyatlar ABD Doğu (Kuzey Virginia) AWS bölgesinde bulunan Linux/Unix içindir ve en yakın kura yuvarlanır. Fiyatlandırma hakkında ayrıntılı bilgi için Amazon EC2 Fiyatlandırması'na bakın.
ML için P5 bulut sunucularını kullanmaya başlama
SageMaker'ı kullanma
SageMaker, ML modelleri oluşturup bunları eğitmeye ve dağıtmaya yönelik, tam olarak yönetilen bir hizmettir. P5 bulut sunucuları ile birlikte kullanıldığında, bir modeli ölçeğinden bağımsız olarak, kümeler ve veri işlem hatları ayarlama konusunda endişelenmeniz gerekmeden hızla eğitmek için ölçeği onlarca, yüzlerce veya binlerce GPU içerecek şekilde çok daha kolayca genişletebilirsiniz.
DLAMI veya Derin Öğrenme Container'larını Kullanma
DLAMI, ML uygulayıcılarına ve araştırmacılarına bulutta ve tüm ölçeklerde derin öğrenimi hızlandırmak için kullanabilecekleri altyapıyı ve araçları sunar. Derin Öğrenme Container'ları, ortamlarınızı sıfırdan oluşturma ve optimize etme gibi karmaşık bir işlemi atlamanızı sağlayarak özel makine öğrenimi ortamlarını dağıtmanızı kolaylaştırmak amacıyla, DL çerçeveleri önceden yüklenmiş olarak sunulan Docker görüntüleridir.
Amazon EKS veya Amazon ECS'yi kullanma
Kendi container'lı iş yüklerinizi container düzenleme hizmetleri aracılığıyla yönetmeyi tercih ederseniz P5 bulut sunucularını Amazon EKS veya Amazon ECS ile dağıtabilirsiniz.
HPC için P5 bulut sunucularını kullanmaya başlama
P5 bulut sunucuları mühendislik simülasyonları, hesaplamalı finans, sismik analiz, moleküler modelleme, genomik, görsel işleme ve benzeri, yoğun GPU tabanlı HPC iş yüklerini çalıştırmak için ideal bir platformdur. HPC uygulamaları genellikle yüksek ağ performansı, hızlı depolama, büyük miktarda bellek, çok yüksek kapasiteli işlem özellikleri ya da bunların hepsini birden gerektirir. P5 bulut sunucuları, HPC uygulamalarının binlerce GPU'ya ölçeklendirmek için Message Passing Interface'i (MPI) kullanmasını sağlayan EFAv2'yi destekler. AWS Toplu İşlem ve AWS ParallelCluster, HPC geliştiricilerinin dağıtılmış HPC uygulamalarını hızla oluşturmasına ve ölçeklendirmesine yardımcı olur.
Daha fazla bilgi edinin »
AWS'yi kullanmaya başlama
Konsolda oluşturmaya başlayın
AWS projenizi başlatmanıza yardımcı olacak adım adım kılavuzlarla oluşturmaya başlayın.