- Amazon EC2›
- Bulut sunucusu türleri›
- P5 Bulut Sunucuları
Amazon EC2 P5 bulut sunucuları
Derin öğrenme ve HPC uygulamaları için yüksek performanslı GPU tabanlı bulut sunucuları
Neden Amazon EC2 P5 bulut sunucuları?
NVIDIA H100 Tensor Core GPU'lar tarafından desteklenen Amazon Elastic Compute Cloud (Amazon EC2) P5 bulut sunucuları ile NVIDIA H200 Tensor Core GPU'lar tarafından desteklenen P5e ve P5en bulut sunucuları, derin öğrenme (DL) ve yüksek performanslı bilgi işlem (HPC) uygulamaları için Amazon EC2'de yüksek performans sunar. Eski nesil GPU tabanlı EC2 bulut sunucularına kıyasla çözüme ulaşma sürenizi 4 kata kadar hızlandırmanıza ve makine öğrenimi modellerini eğitme maliyetini %40'a kadar azaltmanıza yardımcı olurlar. Bu bulut sunucuları, çözümlerinizi daha hızlı bir şekilde yinelemenize ve pazara daha hızlı ulaşmanıza yardımcı olur. Karmaşık hale gelen büyük dil modellerini (LLM'ler) ve üretken yapay zeka uygulamalarını destekleyen dağıtım modellerini eğitmek ve dağıtmak için P5, P5e ve P5en bulut sunucularını kullanabilirsiniz. Bu uygulamalar arasında soru yanıtlama, kod oluşturma, video ve görüntü oluşturma ve konuşma tanıma yer alır. Bu bulut sunucularını; farmasötik keşif, sismik analiz, hava durumu tahmini ve finansal modelleme gibi alanlarda kullanılan HPC uygulamalarını büyük ölçekte dağıtmak için de kullanabilirsiniz.
Bu performans iyileştirmelerini ve maliyet tasarruflarını sağlamak için P5 ve P5e bulut sunucuları, eski nesil GPU tabanlı bulut sunucularına kıyasla 2 kat daha yüksek CPU performansı, 2 kat daha yüksek sistem belleği ve 4 kat daha yüksek yerel depolama ile NVIDIA H100 ve H200 Tensor Core GPU'larını tamamlar. P5en bulut sunucuları, NVIDIA H200 Tensor Core GPU'ları yüksek performanslı Intel Sapphire Rapids CPU ile eşleştirerek CPU ve GPU arasında Gen5 PCIe'yi etkinleştirir. P5en bulut sunucuları, CPU ve GPU arasında 4 kata kadar bant genişliği ve P5e ile P5 bulut sunucularına kıyasla daha düşük ağ gecikmesi sağlayarak dağıtılmış eğitim performansını artırır. P5 ve P5e bulut sunucuları, ikinci nesil Esnek Yapı Bağdaştırıcısı (EFA) kullanarak 3.200 GB/sn'ye kadar ağ iletişimi desteği sağlar. Nitro v5 kullanan üçüncü nesil Esnek Yapı Bağdaştırıcısı'na sahip P5en, eski nesil Esnek Yapı Bağdaştırıcısı ve Nitro'yu kullanan P5'e kıyasla gecikme süresinde %35'e varan iyileşme gösterir. Bu iyileşme, derin öğrenme, üretken yapay zeka, gerçek zamanlı veri işleme ve yüksek performanslı bilgi işlem (HPC) uygulamaları gibi dağıtılmış eğitim iş yükleri için kolektif iletişim performansını artırmaya yardımcı olur. Bu bulut sunucuları, düşük gecikme süresiyle büyük ölçekli işlem sunabilmek için petabit ölçeğinde engellemesiz bir ağla birbirine bağlanan 20.000 H100 veya H200 GPU'ya kadar ölçeklendirme sağlayan Amazon EC2 UltraClusters'a dağıtılır. EC2 UltraClusters'taki P5, P5e ve P5en bulut sunucuları, 20 exaflop'a kadar toplam işlem kapasitesi sunabilir. Bu, süper bilgisayar performansına eş değerdir.
Amazon EC2 P5 Bulut Sunucuları
Avantajlar
P5, P5e ve P5en bulut sunucuları, büyük üretken yapay zeka modellerinin geniş ölçekte eğitilmesini sağlar ve eski nesil GPU tabanlı EC2 bulut sunucularına kıyasla 4 kata kadar daha yüksek performans sunar.
P5, P5e ve P5en bulut sunucuları, eğitim ve çözüm sürelerini önemli ölçüde kısaltarak haftalar süren iş yüklerini yalnızca birkaç güne düşürür. Bu sayede daha hızlı yineleme yapabilir ve pazara daha kısa sürede ulaşabilirsiniz.
P5, P5e ve P5en bulut sunucuları, eski nesil GPU tabanlı EC2 bulut sunucularına kıyasla DL eğitimi ve HPC altyapı maliyetlerinde %40'a varan tasarruf sağlar.
P5, P5e ve P5en bulut sunucuları 3.200 GB/sn'ye kadar Esnek Yapı Bağdaştırıcısı ağı sağlar. Bu bulut sunucuları EC2 UltraClusters'da dağıtılır ve toplam işlem kapasitesi olarak 20 exaflop sunar.
Özellikler
P5 bulut sunucuları, bulut sunucusu başına toplam 640 GB'a kadar HBM3 GPU belleği sunan 8 adede kadar NVIDIA H100 GPU ile yapılandırılabilir. P5e ve P5en bulut sunucuları, bulut sunucusu başına toplam 1.128 GB'a kadar HBM3e GPU belleği sunan 8 adede kadar NVIDIA H200 GPU ile yapılandırılabilir. Her iki bulut sunucusu da 900 GB/sn'ye kadar NVSwitch GPU ara bağlantısını destekler (her bulut sunucusunda toplam 3,6 TB/sn iki bölümlü bant genişliği); bu sayede her GPU aynı bulut sunucusunda tek atlamalı gecikmeyle diğer tüm GPU'larla iletişim kurabilir.
NVIDIA H100 ve H200 GPU'lar, FP8 ve 16 bitlik hesaplamaları akıllıca yöneten ve dinamik olarak seçim yapan bir dönüştürücü altyapısına sahiptir. Bu özellik, eski nesil A100 GPU'lara kıyasla büyük dil modellerinde DL eğitim hızlarının daha yüksek olmasını sağlar. NVIDIA H100 ve H200 GPU'lar, HPC iş yüklerinde A100 GPU'lara kıyasla dinamik programlama algoritmalarını hızlandıran yeni DPX talimatlarına sahip.
P5, P5e ve P5en bulut sunucuları 3.200 GB/sn'ye kadar Esnek Yapı Bağdaştırıcısı ağ iletişimi sunar. Esnek Yapı Bağdaştırıcısı ayrıca, işletim sistemi atlamasına sahip sunucular arasında düşük gecikmeli GPU'dan GPU'ya iletişimi sağlamak için NVIDIA GPUDirect RDMA ile ilişkilendirilmiştir.
P5, P5e ve P5en bulut sunucuları Lustre İçin Amazon FSx dosya sistemlerini destekler, böylece büyük ölçekli DL ve HPC iş yüklerinde gereken yüzlerce GB/sn aktarım hızı ve milyonlarca IOPS hızında verilere erişebilirsiniz. Her bulut sunucusu ayrıca büyük veri kümelerine hızlı erişim için 30 TB'a kadar yerel NVMe SSD depolama alanını destekler. Amazon Simple Storage Service (Amazon S3), uygun maliyetli ve neredeyse sınırsız depolama olanağı sunar.
Müşteri görüşleri
Müşterilerin ve çözüm ortaklarının, Amazon EC2 P4 bulut sunucularıyla işletme hedeflerine nasıl ulaştıklarına ilişkin bazı örnekleri aşağıda bulabilirsiniz.
Anthropic
Anthropic'te güvenilir, yorumlanabilir ve yönlendirilebilir yapay zeka sistemleri oluşturmak için çalışıyoruz. Büyük ölçekli genel yapay zeka sistemleri, önemli faydalar sağlamalarına rağmen öngörülebilirlik, güvenilirlik ve şeffaflık açısından sınırlamalar barındırabilir. Amacımız bu konularda ilerleme kaydetmek ve insanların yararlı bulduğu sistemleri dağıtmaktır. Kuruluşumuz, derin öğrenme araştırmalarında temel modeller oluşturan dünyada az sayıdaki kuruluştan biridir. Bu modeller oldukça karmaşıktır ve bu son teknoloji modelleri geliştirmek ve eğitmek için, bunları büyük GPU kümeleri arasında verimli bir şekilde dağıtmamız gerekiyor. Bugün Amazon EC2 P4 bulut sunucularını yoğun bir şekilde kullanıyoruz ve P5 bulut sunucularının kullanıma sunulmasından heyecan duyuyoruz. P4d bulut sunucularına kıyasla, önemli fiyat-performans kazanımları sağlamalarının yanı sıra yeni nesil büyük dil modelleri ve ilgili ürünlerin geliştirilmesi için gereken çok büyük ölçekte kullanılabilirliği sunmalarını bekliyoruz.
AON
AON olarak, sigorta şirketlerinin karmaşık hesaplama zorluklarını ele alış biçimini kökten dönüştürüyoruz. Karmaşık finansal risklerin ve garantilerin modellenmesi, daha fazla simülasyon gerektiren istatistiksel projeksiyonlara dayanır. Buna karşın bağlantısız eski sistemler ve hataya açık manuel işlemler, kapsamlı ve titiz analiz süreçlerinin yürütülmesini zorlaştırır. Amazon EC2 P5 bulut sunucuları bizim için oyunun kurallarını değiştirdi. Eskiden günler süren makine öğrenimi modelleri ve ekonomik tahminler artık yalnızca birkaç saat içinde çalıştırılabiliyor. Tek bir H100 GPU bulut sunucusu (p5.4xlarge) kullanabilmek, yalnızca zamandan tasarruf etmemizi değil aynı zamanda hesaplama kaynaklarımızı daha verimli kullanmamızı da sağlıyor. Müşterilerimiz, bu çığır açan teknoloji sayesinde risk yönetimi ve ürün fiyatlandırması alanlarında eşi görülmemiş öngörüler elde ediyor.
Van Beach, Küresel Yaşam Çözümleri Başkanı, AON
Cohere
Cohere, kuruluşların dil yapay zekasının gücünden yararlanarak bilgiyi doğal ve sezgisel biçimde keşfetmesini, üretmesini, aramasını ve buna göre hareket etmesini sağlarken her müşteri için en uygun veri ortamında birden fazla bulut platformuna dağıtım yapılmasına da olanak tanıyor. NVIDIA H100 destekli Amazon EC2 P5 bulut sunucuları, Cohere'in son teknoloji ürünü büyük dil modeli ve üretici yapay zeka yetenekleriyle birleşen bilgi işlem gücüyle işletmelerin daha hızlı oluşturma, büyüme ve ölçeklendirme yeteneğini ortaya çıkaracak.
Hugging Face
En hızlı büyüyen açık kaynaklık makine öğrenimi topluluğu olarak artık; doğal dil işleme, bilgisayarla görme, biyoloji, pekiştirmeli öğrenme ve daha fazlası için platformumuzda 150.000'den fazla önceden eğitilmiş model ve 25.000 veri kümesi sağlıyoruz. LLM'ler ve üretken yapay zeka alanında yaşanan hızlı ilerlemelerle birlikte yarının açık kaynaklı modellerini geliştirmek ve bu ekosisteme katkı sağlamak için AWS ile iş birliği yapıyoruz. Yeni temel yapay zeka modellerinin kullanılabilirliğini hızlandırmak amacıyla Amazon SageMaker aracılığıyla Amazon EC2 P5 bulut sunucularını Esnek Yapı Bağdaştırıcısı ile UltraClusters'ta uygun ölçekte kullanmayı sabırsızlıkla bekliyoruz.
Ürün ayrıntıları
|
Instance Size
|
vCPUs
|
Instance Memory
|
GPU
|
GPU memory
|
Network Bandwidth (Gbps)
|
GPUDirect RDMA
|
GPU Peer to Peer
|
Instance Storage (TB)
|
EBS Bandwidth (Gbps)
|
|---|---|---|---|---|---|---|---|---|---|
|
p5.4xlarge
|
16 |
256 GiB |
1 H100 |
80 GB HBM3 |
100 GB/sn Esnek Yapı Bağdaştırıcısı |
Hayır* |
Yok* |
3.84 x 3,84 NVMe SSD |
10 |
|
p5.48xlarge
|
192
|
2 TiB |
8 H100
|
640 GB
HBM3 |
3200 Gbps EFA
|
Evet
|
900 GB/s NVSwitch
|
8 x 3.84 NVMe SSD
|
80
|
|
p5e.48xlarge
|
192
|
2 TiB |
8 H200
|
1128 GB
HBM3e |
3200 Gbps EFA
|
Evet
|
900 GB/s NVSwitch
|
8 x 3.84 NVMe SSD
|
80
|
|
p5en.48xlarge
|
192
|
2 TiB |
8 H200
|
1128 GB HBM3e
|
3200 Gbps EFA
|
Evet
|
900 GB/s NVSwitch
|
8 x 3,84 NVMe SSD
|
100
|
*GPUDirect RDMA, P5.4xlarge'da desteklenmiyor
ML kullanım örneklerini kullanmaya başlama
SageMaker, makine öğrenimi modelleri oluşturup bunları eğitmeye ve dağıtmaya yönelik tam olarak yönetilen bir hizmettir. SageMaker HyperPod ile dayanıklı eğitim kümelerini kurma ve yönetme endişesi duymadan bir modeli herhangi bir ölçekte hızla eğitmek için ölçeği onlarca, yüzlerce ya da binlerce GPU'ya çok daha kolay şekilde genişletebilirsiniz.
DLAMI, makine öğrenimi uygulayıcılarına ve araştırmacılarına bulutta ve tüm ölçeklerde derin öğrenmeyi hızlandırmak için kullanabilecekleri altyapıyı ve araçları sunar. Derin Öğrenme Container'ları, DL çerçeveleri önceden yüklenmiş Docker görüntüleridir. Ortamları sıfırdan oluşturma ve optimize etme gibi karmaşık süreçleri ortadan kaldırarak özel makine öğrenimi ortamlarının dağıtılmasını kolaylaştırır.
Kendi container'lı iş yüklerinizi container düzenleme hizmetleri aracılığıyla yönetmeyi tercih ederseniz P5, P5e ve P5en bulut sunucularını Amazon EKS veya Amazon ECS ile dağıtabilirsiniz.
HPC kullanım örneklerini kullanmaya başlama
P5, P5e ve P5en bulut sunucuları; mühendislik simülasyonları, hesaplamalı finans, sismik analiz, moleküler modelleme, genomik, görsel işleme ve benzeri yoğun GPU tabanlı HPC iş yüklerini çalıştırmak için ideal bir platformdur. HPC uygulamaları genellikle yüksek ağ performansı, hızlı depolama, büyük miktarda bellek, çok yüksek kapasiteli işlem özellikleri ya da bunların hepsini birden gerektirir. Her üç bulut sunucusu türü de, HPC uygulamalarının Message Passing Interface (MPI) kullanarak binlerce GPU'ya ölçeklenmesini sağlayan Esnek Yapı Bağdaştırıcısı'nı destekler. AWS Batch ve AWS ParallelCluster, HPC geliştiricilerinin dağıtılmış HPC uygulamalarını hızla oluşturmasına ve ölçeklendirmesine yardımcı olur.