Neden Amazon EC2 P5 Bulut Sunucuları?
NVIDIA H100 Tensor Core GPU'lar tarafından desteklenen Amazon Elastic Compute Cloud (Amazon EC2) P5 bulut sunucuları ve NVIDIA H200 Tensor Core GPU'lar tarafından desteklenen P5e ve P5en bulut sunucuları, derin öğrenme (DL) ve yüksek performanslı bilgi işlem (HPC) uygulamaları için Amazon EC2'de en yüksek performansı sunar. Önceki nesil GPU tabanlı EC2 bulut sunucularına kıyasla çözüme ulaşma sürenizi 4 kata kadar hızlandırmanıza ve makine öğrenimi modellerini eğitme maliyetini %40'a kadar azaltmanıza yardımcı olurlar. Bu bulut sunucuları, çözümlerinizi daha hızlı bir şekilde yinelemenize ve pazara daha hızlı ulaşmanıza yardımcı olur. Giderek daha karmaşık hale gelen büyük dil modellerini (LLM'ler) ve en zorlu üretken yapay zeka (AI) uygulamalarını destekleyen dağıtım modellerini eğitmek ve dağıtmak için P5, P5e ve P5en bulut sunucularını kullanabilirsiniz. Bu uygulamalar arasında soru yanıtlama, kod oluşturma, video ve görüntü oluşturma ve konuşma tanıma yer alır. Bu bulut sunucularını farmasötik keşif, sismik analiz, hava durumu tahmini ve finansal modelleme için zorlu HPC uygulamalarını geniş ölçekte dağıtmak amacıyla da kullanabilirsiniz.
Bu performans iyileştirmelerini ve maliyet tasarruflarını sağlamak için P5 ve P5e bulut sunucuları, önceki nesil GPU tabanlı bulut sunucularına kıyasla 2 kat daha yüksek CPU performansı, 2 kat daha yüksek sistem belleği ve 4 kat daha yüksek yerel depolama ile NVIDIA H100 ve H200 Tensor Core GPU'larını tamamlar. P5en bulut sunucuları, NVIDIA H200 Tensor Core GPU'ları yüksek performanslı Intel Sapphire Rapids CPU ile eşleştirerek CPU ve GPU arasında Gen5 PCIe'yi etkinleştirir. P5en bulut sunucuları, CPU ve GPU arasında 4 kata kadar bant genişliği ve P5e ile P5 bulut sunucularına kıyasla daha düşük ağ gecikmesi sağlayarak dağıtılmış eğitim performansını artırır. P5 ve P5e bulut sunucuları, ikinci nesil Esnek Yapı Bağdaştırıcısı (EFA) kullanarak 3.200 Gbps'ye kadar ağ iletişimi desteği sağlar. Nitro v5 kullanan üçüncü nesil EFA'ya sahip P5en, önceki nesil EFA ve Nitro'yu kullanan P5'e kıyasla gecikme süresinde %35'e varan iyileşme gösterir. Bu iyileşme, derin öğrenme, üretken yapay zeka, gerçek zamanlı veri işleme ve yüksek performanslı bilgi işlem (HPC) uygulamaları gibi dağıtılmış eğitim iş yükleri için kolektif iletişim performansını artırmaya yardımcı olur. Bu bulut sunucuları, düşük gecikme süresiyle büyük ölçekli işlem sunmak için petabit ölçeğinde engellemesiz bir ağla birbirine bağlanan 20.000 H100 veya H200 GPU'ya kadar ölçeklendirme sağlayan Amazon EC2 UltraClusters'a dağıtılır. EC2 UltraClusters'taki P5, P5e ve P5en bulut sunucuları, 20 exaflop'a kadar toplam işlem kapasitesi sunabilir. Bu, süper bilgisayar performansına eş değerdir.
Amazon EC2 P5 Bulut Sunucuları
Avantajlar
Özellikler
Müşteri görüşleri
Müşterilerin ve çözüm ortaklarının, Amazon EC2 P4 bulut sunucularıyla işletme hedeflerine nasıl ulaştıklarına ilişkin bazı örnekleri aşağıda bulabilirsiniz.
-
Anthropic
Anthropic, ticari olarak ve kamu yararına değer yaratmak için birçok fırsata sahip olacak güvenilir, yorumlanabilir ve yönlendirilebilir yapay zeka sistemleri oluşturuyor.
Anthropic'te güvenilir, yorumlanabilir ve yönlendirilebilir yapay zeka sistemleri oluşturmak için çalışıyoruz. Günümüzün büyük genel yapay zeka sistemleri önemli faydalara sahip olsa da bunlar öngörülemez, güvenilmez ve şeffaflıktan uzak olabilirler. Amacımız bu konularda ilerleme kaydetmek ve insanların yararlı bulduğu sistemleri dağıtmaktır. Kuruluşumuz, derin öğrenme araştırmalarında temel modeller oluşturan dünyada az sayıdaki kuruluştan biridir. Bu modeller oldukça karmaşıktır ve bu son teknoloji modelleri geliştirmek ve eğitmek için, bunları büyük GPU kümeleri arasında verimli bir şekilde dağıtmamız gerekiyor. Bugün Amazon EC2 P4 bulut sunucularını yoğun bir şekilde kullanıyoruz ve P5 bulut sunucularının kullanıma sunulmasından heyecan duyuyoruz. P4d bulut sunucularına kıyasla hem önemli fiyat-performans avantajları sunacaklarını hem de yeni nesil büyük dil modelleri ve ilgili ürünler oluşturmak için gereken büyüklükteki bir ölçekte kullanılabileceklerini umuyoruz.
Tom Brown, Kurucu Ortak, Anthropic -
Cohere
Dilde yapay zeka alanında lider bir öncü olan Cohere, her geliştiriciye ve kuruluşa, dünya lideri doğal dil işleme (NLP) teknolojisiyle inanılmaz ürünler oluşturma ve aynı zamanda verilerini gizli ve güvende tutma gücü veriyor
Cohere, her kuruluşun bilgiyi hem doğal hem de sezgisel bir şekilde keşfetmesi, üretmesi, araması ve buna göre hareket etmesi amacıyla dil yapay zekasının gücünden yararlanmasını, her müşteri için en iyi sonucu veren veri ortamındaki birden fazla bulut platformuna dağıtım yapmasını sağlama konusuna öncülük ediyor. NVIDIA H100 destekli Amazon EC2 P5 bulut sunucuları, Cohere'in son teknoloji ürünü büyük dil modeli ve üretici yapay zeka yetenekleriyle birleşen bilgi işlem gücüyle işletmelerin daha hızlı oluşturma, büyüme ve ölçeklendirme yeteneğini ortaya çıkaracak.
Aidan Gomez, CEO, Cohere -
Hugging Face
Hugging Face'in misyonu, iyi makine öğrenimini demokratik hâle getirmek.
En hızlı büyüyen açık kaynaklık makine öğrenimi topluluğu olarak artık; doğal dil işleme, bilgisayarla görme, biyoloji, pekiştirmeli öğrenme ve daha fazlası için platformumuzda 150.000'den fazla önceden eğitilmiş model ve 25.000 veri kümesi sağlıyoruz. LLM'ler ve üretici yapay zekadaki önemli gelişmelerle birlikte, yarının açık kaynaklı modellerini oluşturmak ve bunlara katkıda bulunmak için AWS ile birlikte çalışıyoruz. Herkes için yeni temel yapay zeka modellerinin sunulmasını hızlandırmak amacıyla Amazon SageMaker aracılığıyla Amazon EC2 P5 bulut sunucularını Esnek Yapı Bağdaştırıcısı ile UltraClusters'ta uygun ölçekte kullanmayı sabırsızlıkla bekliyoruz.
Julien Chaumond, CTO ve Kurucu Ortak, Hugging Face
Ürün bilgileri
Bulut Sunucusu Boyutu | vCPU'lar | Bulut Sunucusu Belleği (TiB) | GPU | GPU belleği | Ağ Bant Genişliği (Gbps) | GPUDirect RDMA | GPU Eşler Arası | Bulut Sunucusu Depolama Alanı (TB) | EBS Bant Genişliği (Gbps) |
---|---|---|---|---|---|---|---|---|---|
p5.48xlarge | 192 | 2 | 8 H100 | 640 GB HBM3 |
3200 Gbps EFA | Evet | 900 GB/s NVSwitch | 8 x 3.84 NVMe SSD | 80 |
p5e.48xlarge | 192 | 2 | 8 H200 | 1128 GB HBM3e |
3200 Gbps EFA | Evet | 900 GB/s NVSwitch | 8 x 3.84 NVMe SSD | 80 |
p5en.48xlarge | 192 | 2 | 8 H200 | 1128 GB HBM3e | 3200 Gbps EFA | Evet | 900 GB/s NVSwitch | 8 x 3,84 NVMe SSD | 100 |
ML kullanım örneklerini kullanmaya başlama
HPC kullanım örneklerini kullanmaya başlama
P5, P5e ve P5en bulut sunucuları mühendislik simülasyonları, hesaplamalı finans, sismik analiz, moleküler modelleme, genomik, görsel işleme ve benzeri, yoğun GPU tabanlı HPC iş yüklerini çalıştırmak için ideal bir platformdur. HPC uygulamaları genellikle yüksek ağ performansı, hızlı depolama, büyük miktarda bellek, çok yüksek kapasiteli işlem özellikleri ya da bunların hepsini birden gerektirir. Her üç bulut sunucusu türü de HPC uygulamalarının binlerce GPU'ya ölçeklendirmek için Message Passing Interface'i (MPI) kullanmasını sağlayan EFA'yı destekler. AWS Toplu İşlem ve AWS ParallelCluster, HPC geliştiricilerinin dağıtılmış HPC uygulamalarını hızla oluşturmasına ve ölçeklendirmesine yardımcı olur.
Daha fazla bilgi edinin