Amazon SageMaker HyperPod müşterileri
Başlıca yapay zeka startup'ları ve her ölçekten kuruluş, SageMaker HyperPod'da altyapı modellerini geniş ölçekte eğitiyor ve dağıtıyor
-
Hugging Face
Hugging Face, milyonlarca kez indirilmiş StarCoder, IDEFICS ve Zephyr gibi önemli yeni açık altyapı modelleri oluşturmak için SageMaker HyperPod'u kullanıyor. SageMaker HyperPod'un amaca yönelik dayanıklılık ve performans yetenekleri, açık bilim ekibimizin altyapıyı yönetmek yerine altyapı modellerinin oluşturulma biçimlerinde yenilikler yapmaya ve önemli iyileştirmeler yayınlamaya odaklanmasını sağladı. SageMaker HyperPod'un özellikle ML donanım arızasını algılayabilme ve devam eden model eğitimini kesintiye uğratmadan hatalı donanımı hızlı bir şekilde değiştirebilme yeteneğini beğendik. Ekiplerimizin hızlı bir şekilde yenilik yapması gerektiğinden, bu otomatik iş kurtarma özelliği, altyapı modeli eğitim süreci sırasında kesintiyi en aza indirmemize ve sadece bir yıl içinde yüzlerce saatlik eğitim süresinden tasarruf etmemize yardımcı oldu.
Jeff Boudier, Ürün Başkanı, Hugging Face -
Perplexity AI
Yüksek performanslı büyük dil modelleri oluşturmak amacıyla üretkenliği artırmak ve maliyetleri düşürmek için doğru ML altyapısını arıyorduk. Birkaç başarılı deneme yaptıktan sonra Amazon SageMaker HyperPod'u kullanmak için diğer bulut sağlayıcılarından AWS'ye geçtik. Son dört aydır HyperPod'u LLM'ler oluşturmak ve bunlara ince ayar yapmak için kullanıyor ve böylece soruları alıntı şeklinde sağlanan referanslarla yanıtlayan Perplexity etkileşimli yanıt altyapısını destekliyoruz. SageMaker HyperPod, küme durumunu otomatik olarak izlediğinden ve GPU hatalarını giderdiğinden, geliştiricilerimiz temel altyapıyı yönetmek ve optimize etmek için zaman harcamak yerine model oluşturmaya odaklanabiliyor. SageMaker HyperPod'un yerleşik veri ve model paralel kitaplıkları, GPU'lardaki eğitim süresini optimize etmemize ve eğitim verimini ikiye katlamamıza yardımcı oldu. Sonuç olarak, eğitim deneylerimiz artık iki kat daha hızlı çalışabiliyor. Bu da geliştiricilerimizin daha hızlı yineleme gerçekleştirebileceği ve müşterilerimiz için yeni üretici yapay zeka deneyimleri geliştirme sürecini hızlandırabileceği anlamına geliyor.
Aravind Srinivas, Kurucu Ortak ve CEO, Perplexity AI -
Articul8 AI
Örnek olay incelemesini okuyun
Amazon SageMaker HyperPod görev yönetişimi, çeşitli ekipler ve projelerde GPU kullanımını en üst düzeye çıkarmaya yardımcı olur. Hızla büyüyen bir GenAI startup’u olan Articul8 AI, hızlandırılmış bilgi işlem kaynaklarını olabildiğince verimli bir şekilde tahsis etmek için bilgi işlem ortamlarını sürekli olarak optimize eder. SageMaker HyperPod'da otomatik görev önceliklendirme ve kaynak tahsisi ile GPU kullanımında çarpıcı bir gelişme gördüler, böylece eğitim ve ince ayarlardan çıkarıma kadar çeşitli görevleri optimize ederek boşta kalma sürelerini azalttılar ve model geliştirme süreçlerini hızlandırdılar. Kaynakları otomatik olarak yüksek öncelikli görevlere kaydırma yeteneği, ekiplerinin üretkenliğini artırarak yeni GenAI yeniliklerini pazara her zamankinden daha hızlı getirmelerini sağladı.
Amazon SageMaker HyperPod, bilgi işlem kaynaklarımızı minimum kesinti süresiyle daha verimli bir şekilde yönetmemize ve çalıştırmamıza büyük ölçüde yardımcı oldu. Slurm tabanlı HyperPod hizmetini ilk benimseyenler arasındaydık. Kullanım kolaylığı ve dayanıklılık özelliklerinden avantaj sağladık. Bu da %35'e varan üretkenlik artışı ve GenAI operasyonlarımızın ölçeğini hızla artırabilmemizle sonuçlandı. Bir Kubernetes evi olarak, SageMaker HyperPod için Amazon EKS desteğinin lansmanını memnuniyetle karşılıyoruz. Bu, mevcut eğitim işlem hatlarımızla sorunsuz bir şekilde entegre olduğu ve büyük ölçekli Kubernetes kümelerimizi yönetmemizi ve çalıştırmamızı daha da kolaylaştırdığı için bizim için oyunun kurallarını değiştiriyor. Ayrıca, bu özelliği artık GenAI platformumuzda paketleyip ürünleştirebildiğimizden, müşterilerimizin kendi eğitimlerini ve ince ayar iş yüklerini daha akıcı bir şekilde yürütmelerini sağlayabiliyor ve böylece son müşterilerimize de yardımcı oluyoruz.
Arun Subramaniyan, Kurucu ve CEO, Articul8 AI -
Thomson Reuters
Küresel bir yapay zeka ve içerik odaklı teknoloji şirketi olan Thomson Reuters, iş yükü önceliklendirmeyle ilgili önemli bir zorluğun üstesinden gelmek için Amazon SageMaker HyperPod'daki görev yönetişimi yeteneğini test ediyor. Görev yönetişimi sayesinde, artık kendi devam eden model geliştirme projelerinin yanı sıra çıkarım istekleri gibi müşteri iş yüklerini yönetebiliyor ve dahili araştırmaları kesintiye uğratmadan acil müşteri taleplerine öncelik verilmesini sağlayarak daha iyi kaynak kullanımı ve müşteri memnuniyeti sağlıyorlar. Thomson Reuters Labs Seçkin Mühendisi John Duprey şunları söylüyor: "Amazon SageMaker HyperPod kullanarak büyük dil modeli eğitim gereksinimlerimizi karşılayabildik. SageMaker HyperPod'da Amazon EKS'yi kullanarak kapasite ölçeğini artırabildik ve eğitim işlerini kolayca yürütebildik. Böylece yasal özetleme ve sınıflandırma gibi alanlarda büyük dil modellerinin faydalarını ortaya çıkardık."
Thomson Reuters, 30 yılı aşkın bir süredir yapay zeka geliştirmede ön saflarda yer almaktadır. Müşterilerimizin güvenilir bilgilere daha iyi erişim sağlayarak sonuçları daha hızlı sunmalarına yardımcı olacak anlamlı çözümler sunmayı taahhüt ediyoruz. Üretici yapay zekadaki yeniliğimizi hızlandırmak için, LLM sağlayıcılarıyla ortaklık kurmanın yanı sıra, benzersiz ve tescilli içeriğimiz ve insan uzmanlığımızla özel modelleri daha verimli bir şekilde eğitmek için de çalışıyoruz. SageMaker HyperPod'un dağıtılmış eğitim kitaplıkları, büyük ölçekli model eğitim performansını iyileştirmemize yardımcı oluyor. Ayrıca dayanıklılık özelliği, altyapıyı izlerken ve yönetirken bize zaman kazandırıyor. Temel modellerimizi SageMaker HyperPod üzerinde eğitmek, pazara ulaşma hızımızı artıracak ve müşterilerimize güncel ve kaliteli çözümler sunmamıza yardımcı olacak.
Joel Hron, Yapay Zeka ve Laboratuvarlar Başkanı, Thomson Reuters ve John Duprey, Seçkin Mühendis, Thomson Reuters Labs -
Stability AI
Lider bir açık kaynaklı üretici yapay zeka şirketi olarak, hedefimiz modern yapay zekanın erişilebilirliğini en üst düzeye çıkarmaktır. Optimize edilmiş eğitim performansını ölçeklendirebilecek bir altyapı gerektiren, on milyarlarca parametreye sahip altyapı modelleri oluşturuyoruz. SageMaker HyperPod'un yönetilen altyapısı ve optimizasyon kitaplıkları ile eğitim süresini ve maliyetlerini %50'den fazla azaltabiliyoruz. Son teknoloji modelleri daha hızlı oluşturmak için model eğitimimizi daha dayanıklı ve performanslı hale getiriyor.
Emad Mostaque, Kurucu ve CEO, Stability AI -
Recursal AI
Tüm süreç kolaylaştırıldı. SageMaker HyperPod'u kullanarak, donanım arızası durumunda eğitim işlerini son kaydedilen kontrol noktasından tanımlayan ve otomatik olarak kurtaran küme dayanıklılığı özelliklerinden yararlanabiliyoruz. Ortak iş parçacığı olarak Kubernetes olmak üzere uygulama, çıkarım ve eğitim alanlarından çok çeşitli iş yükleri çalıştırıyoruz. Bizim için, SageMaker HyperPod ile Amazon EKS tamamen işe yarıyor: Düğümler kümemize düşüyor.
Nathan Wilce, Altyapı/Veri Baş Sorumlusu, Recursal -
Hippocratic AI
Hippocratic AI, sağlık hizmetleri için ilk güvenlik odaklı Büyük Dil Modelini (LLM) geliştiren bir yapay zeka şirketidir. Birincil LLM ve süpervizör modellerini eğitmek için Hippocratic AI, yüksek talep gören ve elde edilmesi zor olan güçlü bilgi işlem kaynaklarına ihtiyaç duyuyordu. Amazon SageMaker HyperPod esnek eğitim planları, Amazon Elastic Compute Cloud (Amazon EC2) P5 Bulut Sunucularına erişmelerini kolaylaştırdı. HippocraticAI, önemli GPU kullanım metriklerini izlemek için Grafana gibi AWS hizmetlerinden de yararlanıyor. Amazon EC2 P5 Bulut Sunucularını kullanan Hippocratic AI, model eğitimi hızını dört kat artırdı ve çözümünü yüzlerce kullanım senaryosuna uyacak şekilde ölçeklendiriyor. Bu, gerekli bilgi işlem kaynaklarını güvence altına almalarına ve modelleri hızlı bir şekilde eğitmelerine yardımcı oldu.
-
NinjaTech
Sınırsız üretkenlik için hepsi bir arada SuperAgent sağlayan üretken bir yapay zeka şirketi olan NinjaTech AI, model eğitimi maliyetlerini azaltmak ve süreci otomatikleştirmek için Llama 3.1 405B modeli de dahil olmak üzere çeşitli dahili modellerin ince ayarını hızlandırmak için Amazon SageMaker HyperPod esnek eğitim planlarını kullandı. Şirket, SuperAgent Teknolojilerini güçlendiren çeşitli yapay zeka temsilcilerine erişmek isteyen kullanıcılarına sorunsuz bir deneyim sunmayı hedefliyor. Bunu başarmak için, kullanıcı niyetini otomatik olarak tahmin edebilecek ve hangi yapay zeka temsilcisinin buna uygun olacağını belirleyebilecek bir modele ihtiyaçları vardı. Bu mekanizma, LoRa ince ayarının her turunda 10m-100m gösterge içeren müşteri geri bildirimlerini ve yeni özellikleri yinelemeli olarak dahil ederek modelde sık sık güncelleme yapılmasını gerektiriyordu. Bir startup olarak, yüksek performanslı bilgi işlem kaynaklarının edinilmesi ve çalıştırılması, yüksek maliyet ve bant genişliği sorunları nedeniyle, özellikle hızlandırılmış bilgi işlemin yanı sıra hızlı ağ ve hızlı depolama içeren çok düğümlü kümelerde zorludur. Ek olarak, eğitim süreci zaman alıcıdır ve model indirme, dağıtılmış eğitim, kontrol noktası, izleme, otomatik düzeltme, birleştirme ve niceleme gibi adımları içerir. HyperPod'un esnek eğitim planları, şirkete eğitim çalışmasından önce güvenilir ve uygun fiyatlı bilgi işlem sağlarken, belirli hesaplama ve zaman çizelgesi gereksinimlerini karşılayarak verimli model eğitimi sağladı.
-
OpenBabylon
Yetersiz temsil edilen diller için büyük dil modellerini özelleştiren bir yapay zeka şirketi olan OpenBabylon'daki geliştiriciler ve veri bilimciler, büyük ölçekli deneyler yürütmek üzere GPU kaynaklarına erişimlerini kolaylaştırmak için birkaç aydır SageMaker HyperPod esnek eğitim planlarını kullanıyor. Çok düğümlü SageMaker HyperPod'un dağıtılmış eğitim yeteneklerini kullanarak 100 büyük ölçekli model eğitimi deneyi gerçekleştirdiler ve İngilizce-Ukraynaca çeviride son teknoloji sonuçlar elde ettiler. Bu atılım, zamanında ve uygun maliyetli bir şekilde gerçekleştirildi ve SageMaker HyperPod'un karmaşık projeleri zamanında ve bütçe dahilinde başarılı bir şekilde teslim etme yeteneğini gösterdi.
-
Salesforce
Salesforce'daki araştırmacılar, altyapı hakkında endişelenmenize gerek kalmadan veya her yeni model eğitimi yığınını optimize etmek zorunda kalmadan temel model eğitimine ve ince ayarlara hızlı bir şekilde başlamanın yollarını arıyorlardı. Amazon SageMaker HyperPod tarifleri ile Salesforce'daki araştırmacılar FM'leri özelleştirirken hızlı prototipleme yapabiliyorlar. Artık Salesforce'un Yapay Zeka Araştırma ekipleri, çeşitli ön eğitim ve ince ayar tarifleri ile dakikalar içinde başlayabiliyor ve sınır modellerini yüksek performansla operasyonel hale getirebiliyor.
Amazon SageMaker HyperPod çözüm ortakları
Derin teknik bilgiye ve kanıtlanmış müşteri başarısına sahip AWS çözüm ortaklarıyla inovasyonu artırın ve daha yüksek iş değeri elde edin
-
Accenture
Amazon SageMaker HyperPod görev yönetişimi için bir lansman ortağı olarak AWS ile olan ortaklığımızı genişletiyoruz. AWS ile olan iş birliğimiz, üretken yapay zeka uygulama maliyetlerini düşürmeye yardımcı olurken, müşterileri en son teknolojik atılımlara yönlendirmemizi sağlayacaktır. SageMaker HyperPod'daki merkezi yönetişim yeteneklerini ve üretken yapay zeka projelerindeki deneyimimizi bir araya getirerek, şirketlerin üretken yapay zekanın değerini daha da hızlı anlamalarına yardımcı olabilir, müşteri deneyimini iyileştirebilir ve yatırım getirisini artırabiliriz.
Jennifer Jackson, Accenture AWS Business Group Küresel Lideri ve Kıdemli Genel Müdür -
Slalom
Amazon SageMaker HyperPod görev yönetişimi için bir lansman ortağı olarak AWS ile iş birliği yapmaktan heyecan duyuyoruz. AWS ile çalışarak artık müşterilerimizin en son teknolojik gelişmeleri hızla benimsemelerine ve üretken yapay zeka uygulamalarının maliyetlerini düşürmelerine yardımcı olabiliriz. SageMaker HyperPod'daki merkezi yönetişim yeteneklerini Slalom'un kapsamlı yapay zeka ve bulut deneyimiyle bir araya getirerek, daha fazla yatırım getirisinin yanı sıra olağanüstü müşteri deneyimleri sunabiliriz.
Jeff Kempiners, Slalom Amazon Mükemmeliyet Merkezi (CoE) Genel Müdürü -
Rackspace Technology
SageMaker HyperPod görev yönetişimi için bir lansman ortağı olarak AWS ile iş birliği yapmaktan heyecan duyuyoruz. Birlikte, müşterilerimizin en son teknolojik gelişmelere ayak uydururken üretken yapay zeka uygulamalarının maliyetlerini düşürmelerine yardımcı olabiliriz. SageMaker HyperPod'un merkezi yönetişim yeteneklerini Rackspace'in derin yapay zeka ve bulut uzmanlığıyla birleştirerek, müşteri deneyimlerini dönüştürebilir ve aynı anda yatırım getirisini artırabiliriz.
Srini Koushik; Yapay Zeka, Teknoloji ve Sürdürülebilirlik Başkanı; Rackspace Technology