AWS Trainium Müşterileri
Müşterilerin derin öğrenme modelleri oluşturmak, eğitmek ve ince ayar yapmak için AWS Trainium'u nasıl kullandığını görün.
-
Anthropic
Anthropic'te milyonlarca insan işleri için her gün Claude'a güveniyor. AWS ile ilgili iki önemli gelişmeyi duyuruyoruz: Birincisi, Amazon Bedrock aracılığıyla Trainium2'de %60 daha hızlı çalışan, Claude 3.5 Haiku için yeni bir "gecikme için optimize edilmiş moddur". İkincisi ise, önceki kümemizin boyutunun 5 katından büyük olan ve yüzlerce exaflop sağlayan yüz binlerce Trainium2 yongasıyla yeni bir küme olan Project Rainier'dır. Project Rainier, hem araştırmamızı hem de yeni nesil ölçeklendirmemizi güçlendirmeye yardımcı olacak. Müşterilerimiz için bu, daha fazla zeka, daha düşük fiyatlar ve daha yüksek hızlar anlamına geliyor. Sadece daha hızlı yapay zeka oluşturmakla kalmıyoruz, ölçeklenebilen güvenilir yapay zeka inşa ediyoruz.
Tom Brown, İşlem Direktörü, Anthropic -
Databricks
Databricks Mosaic AI, kuruluşların kaliteli Temsilci Sistemleri oluşturmasına ve dağıtmasına olanak tanır. Yerel olarak veri gölü evinin üzerine inşa edilmiştir ve müşterilerin modellerini kurumsal verilerle kolayca ve güvenli bir şekilde özelleştirmelerine ve daha doğru ve etki alanına özgü çıktılar sunmalarına olanak tanır. Trainium'un yüksek performansı ve uygun maliyetli olması sayesinde, müşteriler model eğitimini Mosaic AI üzerinde düşük maliyetle ölçeklendirebilmektedir. Mosaic AI'ya olan talep tüm müşteri segmentleri genelinde ve dünya çapında artmaya devam ettiğinden, Trainium2'nin erişilebilirliği Databricks ve müşterileri için büyük bir avantaj olacaktır. Dünyanın en büyük veri ve yapay zeka şirketlerinden biri olan Databricks, müşterileri için daha iyi sonuçlar sunmak ve TCO'yu %30'a kadar düşürmek için TRN2'yi kullanmayı planlıyor.
Naveen Rao, Üretken Yapay Zeka Başkan Yardımcısı, Databricks -
poolside
poolside'da, yapay zekanın ekonomik açıdan değerli çalışmaların ve bilimsel ilerlemenin büyük çoğunluğunu yönlendireceği bir dünya inşa etmeye hazırız. Yazılım geliştirme sürecinin, sinir ağlarında insan düzeyinde zekaya ulaşan ilk önemli yetenek olacağına inanıyoruz çünkü burası, Arama ve Öğrenme yaklaşımlarını en iyi şekilde birleştirebileceğimiz etki alanıdır. Bunu sağlamak üzere altyapı modelleri, bir API ve üretken yapay zekanın gücünü geliştiricilerinizin ellerine (veya klavyesine) getirmek için bir Asistan oluşturuyoruz. Bu teknolojiyi sağlamanın önemli bir anahtarı, ürünlerimizi oluşturmak ve çalıştırmak için kullandığımız altyapıdır. AWS Trainium2 ile müşterilerimiz, poolside kullanımlarını diğer yapay zeka hızlandırıcılarından çok farklı bir fiyat performansı ile ölçeklendirebilecek. Ayrıca Trainium2 UltraServers ile, EC2 P5 bulut sunucularına kıyasla beklenen %40 tasarrufla gelecekteki modelleri eğitmeyi planlıyoruz.
Eiso Kant, CTO ve Kurucu Ortak, poolside -
Itaú Unibanco
Itaú Unibanco'nun amacı, insanların parayla olan ilişkilerini geliştirmek, yaşamları üzerinde olumlu etkiler yaratırken dönüşüm fırsatlarını genişletmektir. Itaú Unibanco'da her müşterinin benzersiz olduğuna inanıyoruz ve tüketici alışkanlıklarına sürekli uyum sağlamak için yapay zekanın gücünden yararlanan sezgisel dijital yolculuklarla ihtiyaçlarını karşılamaya odaklanıyoruz.
AWS Trainium ve Inferentia'yı standart çıkarımdan ince ayarlanmış uygulamalara kadar çeşitli görevlerde test ettik. Bu yapay zeka yongalarının performansı, araştırma ve geliştirme sürecimizde önemli kilometre taşlarına ulaşmamızı sağladı. Hem toplu hem de çevrimiçi çıkarım görevleri için, GPU'lara kıyasla aktarım hızında 7 kat iyileşme gördük. Bu gelişmiş performans, kuruluş genelinde daha fazla kullanım örneğine genişleme imkanı sağlıyor. En yeni nesil Trainium2 yongaları, GenAI için çığır açan özelliklerin ve Itau'da inovasyonun kapısını açıyor.
Vitor Azeka, Veri Bilimi Başkanı, Itaú Unibanco -
NinjaTech AI
Ninja, Sınırsız Üretkenlik için Hepsi Bir Arada Yapay Zeka Temsilcisidir: Tek bir abonelikle yazma, kodlama, beyin fırtınası, görüntü oluşturma, çevrimiçi arama gibi başlıca yapay zeka becerileriyle birlikte dünyanın en iyi yapay zeka modellerine sınırsız erişim elde edersiniz. Ninja bir temsilci platformudur ve sınırları zorlayan altyapı modellerine benzer (bazı kategorilerde çok daha üstün) ve dünya standartlarında doğruluk içeren bir Temsilci Karışımı kullanan bir "Süper Temsilci" sunar. Ninja'nın Temsilci teknolojisi, müşterilerimizin beklediği benzersiz gerçek zamanlı deneyimleri sunmak için en yüksek performanslı hızlandırıcıları gerektirir.
AWS TRN2'nin lansmanı için son derece heyecanlıyız çünkü Llama 3.1 405B'yi temel alan ana modelimiz Ninja LLM için belirteç başına en iyi performansı ve mevcut durumda mümkün olan en yüksek hızı sunacağına inanıyoruz. Trn2'nin düşük gecikme süresinin rekabetçi fiyatlar ve istek üzerine erişilebilirlik ile birleştiğini görmek harika. Trn2'nin gelişi konusunda çok heyecanlıyız!
Babak Pahlavan, Kurucu ve CEO, NinjaTech AI -
Ricoh
RICOH makine öğrenimi ekibi, kurumsal çözümlerimiz genelinde bilgi akışını yönetmek ve optimize etmek için tasarlanmış iş yeri çözümleri ve dijital dönüşüm hizmetleri geliştirir.
Trn1 bulut sunucularına geçmek kolay ve direkt oldu. 4.096 Trainium yongasından oluşan bir küme kullanarak 13B parametreli LLM'mize sadece 8 günde ön eğitim sağlayabildik. Daha küçük modelimizde gördüğümüz başarıdan sonra, Llama-3-Swallow-70B'yi temel alarak daha büyük ve yeni bir LLM'ye ince ayar uyguladık ve Trainium'dan yararlanarak AWS'deki en yeni GPU makinelerinin kullanımına kıyasla eğitim maliyetlerimizi %50 azaltabildik ve enerji verimliliğini %25 artırabildik. Müşterilerimize en iyi performansı en düşük maliyetle sunmaya devam etmek için, en yeni nesil AWS Yapay Zeka Yongaları olan Trainium2'den yararlanmaktan heyecan duyuyoruz.
Yoshiaki Umetsu, Direktör, Dijital Teknoloji Geliştirme Merkezi, Ricoh -
PyTorch
AWS Neuron NxD Inference kitaplığı hakkında en sevdiğim şey, PyTorch modelleriyle sorunsuz bir şekilde entegre olmasıdır. NxD'nin yaklaşımı direkt ve kullanıcı dostudur. Ekibimiz HuggingFace PyTorch modellerini kısa bir zaman diliminde minimum kod değişikliği ile entegre edebildi. Sürekli Toplu İşleme ve Spekülatif Kod Çözme gibi gelişmiş özellikleri etkinleştirmek basitti. Bu kullanım kolaylığı geliştirici üretkenliğini artırarak ekiplerin inovasyona daha fazla ve entegrasyon zorluklarına daha az odaklanmasına olanak tanır.
Hamid Shojanazeri, PyTorch Ortağı Mühendislik Lideri, Meta -
Refact.ai
Refact.ai, daha doğru öneriler sağlayan Almayla Artırılmış Üretim (RAG) tarafından desteklenmiş kod otomatik tamamlaması ve hem tescilli hem de açık kaynaklı modelleri kullanan bağlama duyarlı sohbet gibi kapsamlı AI araçları sunar.
Müşteriler EC2 Inf2 bulut sunucularında EC2 G5 bulut sunucularına kıyasla %20'ye kadar daha yüksek performans ve dolar başına 1,5 kat daha yüksek belirteç gördü. Refact.ai'ın ince ayar yetenekleri, müşterilerimizin kuruluşlarına yönelik benzersiz kod tabanını ve ortamını anlama ve bunlara uyum sağlama yeteneklerini daha da geliştirir. Ayrıca iş akışlarımıza daha hızlı ve daha verimli bir işleme süreci sağlayacak Trainium2'nin yeteneklerini sunmaktan heyecan duyuyoruz. Bu gelişmiş teknoloji, müşterilerimizin kod tabanları için katı güvenlik standartlarını korurken geliştirici üretkenliğini artırarak yazılım geliştirme süreçlerini hızlandırmalarını sağlayacaktır.
Oleg Klimov, CEO ve Kurucu, Refact.ai -
Karakuri Inc.
KARAKURI, web tabanlı müşteri desteğinin verimliliğini artırmak ve müşteri deneyimlerini basitleştirmek için yapay zeka araçları oluşturmaktadır. Bu araçlar, üretken yapay zeka işlevleriyle donatılmış AI sohbet robotlarını, SSS merkezileştirme araçlarını ve tümü müşteri desteğinin verimliliğini ve kalitesini artıran bir e-posta yanıt aracını içerir. AWS Trainium'u kullanarak KARAKURI LM 8x7B Chat v0.1'i eğitmeyi başardık. Kendimiz gibi startup'lar için, LLM'leri eğitmek için gereken oluşturma süresini ve maliyeti optimize etmemiz gerekiyor. AWS Trainium ve AWS Ekibinin desteğiyle kısa sürede pratik düzeyde bir LLM geliştirmeyi başardık. Ayrıca AWS Inferentia'yı benimseyerek hızlı ve uygun maliyetli bir çıkarım hizmeti oluşturabildik. Trainium2 konusunda çok heyecanlıyız çünkü eğitim sürecimizde devrim yaratacak, eğitim süremizi 2 kat azaltacak ve verimliliği yeni zirvelere taşıyacak!
Tomofumi Nakayama, Kurucu Ortak, Karakuri Inc. -
Stockmark Inc.
"Değer yaratma mekanizmasını yeniden tasarlayarak insanlığı ilerletme" misyonuyla Stockmark, en son doğal dil işleme teknolojilerini sağlaması sayesinde birçok şirketin yenilikçi işletmeler oluşturup kurmasına yardımcı olur. Stockmark'ın yeni veri analiz ve toplama hizmeti olan Anews ve bir kuruluşta depolanan tüm biçimlerdeki bilgileri düzenlemek suretiyle üretken yapay zeka kullanımlarını ciddi ölçüde geliştiren bir veri yapılandırma hizmeti olan SAT, bu ürünleri desteklemek üzere modelleri oluşturup dağıtma şeklimizi yeniden tasarlamamızı gerektiriyordu. 256 Trainium hızlandırıcıyla, 220 milyar belirteçten oluşan bir Japon derlem veri kümesi üzerinde sıfırdan ön eğitim sağlanmış, 13 milyar parametreye sahip büyük bir dil modeli olan stockmark-13b'yi geliştirdik ve yayınladık. Trn1 bulut sunucuları eğitim maliyetlerimizi %20 oranında azaltmamıza yardımcı oldu. Trainium'dan yararlanarak, profesyoneller için iş açısından kritik soruları benzeri görülmemiş bir doğruluk ve hızla cevaplayabilen bir LLM'yi başarılı şekilde geliştirdik. Bu başarı, şirketlerin model geliştirme için yeterli bilgi işlem kaynaklarını güvence altına alma konusunda karşılaştıkları yaygın zorluklar göz önüne alındığında özellikle dikkate değerdir. Trn1 bulut sunucularının etkileyici hızı ve maliyeti azaltması sayesinde, Trainium2'nin iş akışlarımıza ve müşterilerimize getireceği ek avantajları görmekten heyecan duyuyoruz.
Kosuke Arima, CTO ve Kurucu Ortak, Stockmark Inc. -
Brave
Brave, kullanıcı gizliliği ve güvenliğine öncelik vermeye odaklanan bağımsız bir tarayıcı ve arama altyapısıdır. 70 milyondan fazla kullanıcıyla, web'i daha güvenli ve daha kullanıcı dostu hale getiren sektör lideri korumalar sunuyoruz. Kullanıcı merkezli yaklaşımlardan uzaklaşan diğer platformların aksine Brave; gizliliği, güvenliği ve rahatlığı ilk sıraya koymaya kararlıdır. Temel özellikler arasında zararlı betikleri ve izleyicileri engelleme, LLM'ler tarafından desteklenen yapay zeka destekli sayfa özetleri, yerleşik VPN hizmetleri ve daha fazlası bulunur. Arama hizmetlerimizin ve yapay zeka modellerimizin hızını ve maliyet verimliliğini artırmak için sürekli çalışıyoruz. Bunu desteklemek üzere, ölçeği milyarlarca arama sorgusunu ele alacak şekilde artırırken kullanıcı deneyimini iyileştirmek için, Trainium2 dahil AWS AI yongalarının en son yeteneklerinden yararlanmaktan heyecan duyuyoruz.
Subu Sathyanarayana, Mühendislik Başkan Yardımcısı, Brave Software -
Anyscale
Anyscale, makine öğrenimini ve işletmeler için Üretken Yapay Zeka girişimlerini destekleyen bir AI İşlem Altyapısı olan Ray'in arkasındaki şirkettir. Anyscale'in RayTurbo tarafından desteklenen birleşik yapay zeka platformuyla müşteriler 4,5 kata kadar daha hızlı veri işleme, LLM'lerle 10 kat daha düşük maliyetli toplu çıkarım, 5 kat daha hızlı ölçeklendirme, 12 kat daha hızlı yineleme ve kaynakların kullanımını optimize ederek çevrimiçi model çıkarımı için %50 maliyet tasarrufu elde eder.
Anyscale olarak, yapay zeka iş yüklerini verimli ve uygun maliyetli bir şekilde ölçeklendirmek üzere işletmeleri en iyi araçlarla güçlendirmeye kararlıyız. RayTurbo çalışma zamanı ile desteklenen, AWS Trainium ve Inferentia yongaları için yerel destek sayesinde müşterilerimiz model eğitimi ve sunumu için yüksek performanslı, uygun maliyetli seçeneklere erişebilmektedir. AWS ile Trainium2 üzerinde güçlerimizi birleştirerek müşterilerimizin hızla yenilik yapmaları ve yüksek performanslı dönüştürücü yapay zeka deneyimlerini geniş ölçekte sunmaları için yeni fırsatların kapısını açmaktan heyecan duyuyoruz.
Robert Nishihara, Kurucu Ortak, Anyscale -
Datadog
Bulut uygulamaları için gözlemlenebilirlik ve güvenlik platformu olan Datadog, müşterilerin model performansını optimize etmeleri, verimliliği artırmaları ve maliyetleri düşürmeleri için AWS Trainium ve Inferentia İzleme işlevleri sağlar. Datadog entegrasyonu, makine öğrenimi işlemlerine ve temeldeki yonga performansına ilişkin tam görünürlük sağlayarak proaktif sorun çözümü ve sorunsuz altyapı ölçeklendirmesi temin eder. Kullanıcıların yapay zeka altyapısı maliyetlerini %50'ye kadar azaltmalarına ve model eğitimi ve dağıtım performansını artırmalarına yardımcı olacak AWS Trainium2 lansmanı için AWS ile ortaklığımızı genişletmekten heyecan duyuyoruz.
Yrieix Garnier, Ürün Başkan Yardımcısı, Datadog -
Hugging Face
Hugging Face; 5 milyondan fazla araştırmacı, veri bilimcisi, makine öğrenimi mühendisi ve yazılım geliştiricisinden oluşan bir topluluk tarafından paylaşılan 2 milyondan fazla model, veri kümesi ve yapay zeka uygulamasıyla AI geliştiricileri için önde gelen bir açık platformdur. Son birkaç yıldır AWS ile iş birliği yaparak geliştiricilerin Optimum Neuron açık kaynak kitaplığı aracılığıyla AWS Inferentia ve Trainium'un performans ve maliyet avantajlarını deneyimlemelerini kolaylaştırıyoruz. Hugging Face Çıkarım Uç Noktalarına entegre olan ve artık yeni HUGS kendi kendine dağıtım hizmetimiz dahilinde optimize edilen Optimum Neuron açık kaynak kitaplığı, AWS Marketplace'te kullanıma sunulmaktadır. Trainium2'nin piyasaya sürülmesiyle, kullanıcılarımız modelleri daha hızlı geliştirmek ve dağıtmak üzere daha da yüksek performansa erişecekler.
Jeff Boudier, Ürün Başkanı, Hugging Face -
Lightning AI
PyTorch Lightning ve Lightning Studios'un yaratıcısı Lightning AI, kurumsal düzeyde yapay zeka için en sezgisel, hepsi bir arada AI geliştirme platformunu sunuyor. Lightning; temsilciler, yapay zeka uygulamaları ve üretken yapay zeka çözümlerini yıldırım hızında oluşturmak için tam kodlu, düşük kodlu ve kodsuz araçlar sağlar. Esneklik için tasarlanan bu sistem, 3 milyondan fazla üyesi bulunan güçlü geliştirici topluluğunun uzmanlığından ve desteğinden yararlanarak sizin veya bizim bulutumuzda sorunsuz bir şekilde çalışır.
Lightning artık PyTorch Lightning, Fabric ve LitServe gibi açık kaynaklı araçlarımıza ve Lightning Studios'a entegre olan AWS Yapay Zeka Yongaları Trainium ve Inferentia için yerel olarak destek sunuyor. Bu, kullanıcılara önceden eğitme, ince ayar yapma ve geniş ölçekte dağıtma yeteneklerini sorunsuz şekilde sağlayarak maliyeti, erişilebilirliği ve performansı sıfır geçiş iş yüküyle optimize eder. Bunun yanı sıra, en yeni nesil Trainium2 yongaları dahil olmak üzere kullanıcılara AWS Yapay Zeka Yongaları'nın performans ve maliyet avantajlarını sunar.
Luca Antiga, CTO, Lightning AI -
Domino Data Lab
Domino, AWS'deki altyapı, veriler ve hizmetler dâhil olmak üzere tüm veri bilimi yapıtlarını ortamlar genelinde düzenler ve Amazon SageMaker'ı kurumsal veri bilimi ekiplerini desteklemek için yönetişim ve iş birliği özellikleriyle tamamlar. Domino, AWS Marketplace üzerinden SaaS veya kendi kendine yönetilen hizmet olarak kullanılabilir.
Önde gelen işletmeler; teknik karmaşıklığı, maliyetleri ve yönetişimi dengeleyerek rekabetçi bir avantaj elde etmek için kapsamlı yapay zeka seçeneklerine hakim olmalıdır. Domino olarak, müşterilere en son teknolojilere erişim imkânı sağlama taahhüdü veriyoruz. İşlemin bu kadar çok çığır açan yeniliğin karşısında darboğaz olduğu bir ortamda müşterilerimize daha yüksek performans, daha düşük maliyet ve daha iyi enerji verimliliği ile modelleri eğitebilmeleri ve dağıtabilmeleri için Trainium2'ye erişim sağlamaktan gurur duyuyoruz.
Nick Elprin, CEO ve Kurucu Ortak, Domino Data Lab -
Helixon
HeliXon'da protein bazlı terapötikler için yeni nesil yapay zeka çözümleri geliştiriyoruz. Bilim insanlarının proteinlerin işlev ve etkileşimlerini deşifre etmesini, hedef tanımlama için büyük ölçekli genomik veri kümelerini sorgulamasını, antikorlar ve hücre tedavileri gibi terapötikler tasarlamasını sağlayan yapay zeka araçları geliştirmeyi amaçlıyoruz. Bugün model eğitimini birçok GPU tabanlı sunucu üzerinde paralelleştirmek için FSDP gibi eğitim dağıtım kitaplıklarını kullanıyoruz ancak tek bir modeli eğitmek hâlâ haftalarımızı alıyor. Dağıtılmış eğitim işlerimizin performansını artırıp model eğitimi sürelerimizi kısaltırken aynı zamanda eğitim maliyetlerimizi de azaltmak için AWS'de mevcut olan en yüksek ağ bant genişliğine (800 Gbps) sahip Amazon EC2 Trn1 bulut sunucularını kullanmaktan heyecan duyuyoruz.
Jian Peng, CEO - Helixon -
Money Forward, Inc.
Money Forward, Inc. açık ve adil bir finansal platformla işletmelere ve bireylere hizmet ediyor.
Amazon EC2 Inf1 bulut sunucularında büyük ölçekli bir yapay zeka sohbet robotu hizmeti başlattık ve çıkarım gecikmemizi benzer GPU tabanlı bulut sunucularına göre %97 oranında azalttık ve aynı zamanda maliyetleri düşürdük. Özel NLP modellerine periyodik olarak ince ayar yapmaya devam ederken model eğitimi süre ve maliyetlerini azaltmak da önemlidir. Inf1 bulut sunucuları üzerindeki çıkarım iş yükünün başarılı şekilde taşınmasından ve AWS Trainium tabanlı EC2 Trn1 bulut sunucuları üzerindeki ilk çalışmalarımızdan elde ettiğimiz deneyimlere dayanarak Trn1 bulut sunucularının uçtan uca ML performans ve maliyetini iyileştirmede ek değer sağlayacağını düşünüyoruz.
Takuya Nakade, CTO - Money Forward Inc. -
Magic
Magic, bir iş arkadaşı gibi hissettiren yapay zeka geliştirerek dünyayı daha üretken hale getiren entegre bir ürün ve araştırma şirketidir.
Büyük otoregresif Dönüştürücü tabanlı modellerin eğitilmesi, çalışmalarımızın önemli bir bileşenidir. AWS Trainium destekli Trn1 bulut sunucuları, bu tür iş yükleri için özel olarak tasarlanmış olup neredeyse sonsuz ölçeklenebilirlik ve düğümler arası hızlı ağ iletişiminin yanı sıra 16 ve 8 bit veri türleri için gelişmiş destek sunar. Trn1 bulut sunucuları, büyük modelleri daha düşük maliyetle ve daha hızlı eğitmemize yardımcı olacaktır. Trainium'daki BF16 stokastik yuvarlama için yerel destek konusunda özellikle heyecanlıyız çünkü bu sayede sayısal doğruluk, tam hassasiyetle el ele giderken performans da artıyor.
Eric Steinberger, Kurucu Ortak ve CEO - Magic -
CACTUS LABS
CACTUS, araştırmacılar ve kuruluşlar için araştırmaların finanse edilme, yayımlanma, iletilme ve keşfedilme biçimlerini geliştiren bir ürün ve çözüm paketine sahiptir.
Cactus Labs'de doğal dil işleme, sıralama ve öneri, etkileşimli yapay zeka, büyük dil modelleri, bilgisayarlı görü, AR/VR ve XAI konularına odaklanan araştırmalarla yapay zekanın gücünden yararlanıyoruz. Makine öğrenimi modellerinin daha hızlı eğitilmesini sağlamanın yanı sıra altyapı maliyetlerini yönetirken araştırmacılarımızın daha fazla deney yapmasına olanak tanıma arayışımız doğrultusunda AWS Trainium'u değerlendirmekten mutluluk duyduk. AWS Trainium'un XLA optimizasyonu, çok çalışanlı paralel veri eğitimi ve grafik önbelleğe alma gibi kullanıma hazır özellikleri, eğitim sürelerimizi kısaltmamız ve daha fazla deneyi hem daha hızlı hem de daha ucuza gerçekleştirmemiz için gerçekten çok faydalı.
Nishchay Shah, CTO ve Gelişen Ürünler Başkanı - Cactus Communications -
Watashiha
Watashiha, bir soruya anında komik bir yanıt vermek üzere mizahı kullanan "OGIRI AI" adlı yenilikçi ve etkileşimli bir yapay zeka sohbet robotu hizmeti sunar.
Mizahı kullanmak ve yapay zeka hizmetlerimizde müşterilerimize daha alakalı ve konuşmaya dayalı bir deneyim sunmak için Büyük Dil Modellerini kullanıyoruz. Bu nedenle bu modelleri sık sık ön eğitime tabi tutmamız ve ince ayarlamanız gerekiyor. Tensör ve veri paralelliğinden yararlanarak EC2 Trn1.32xlarge bulut sunucusunda GPT tabanlı bir Japonca modelin ön eğitimini gerçekleştirdik. Eğitim, 28 gün içinde ve önceki GPU tabanlı altyapımıza kıyasla %33 maliyet tasarrufu sağlanarak tamamlandı. Modellerimizin karmaşıklığı hızla artmaya devam ederken daha büyük modellerin eğitimini hızlandırmak için Trn1'in iki katı ağ bant genişliğine sahip Trn1n bulut sunucularını dört gözle bekliyoruz.
Yohei Kobashi, CTO - Watashiha, K.K. -
Amazon
Amazon'un ürün arama altyapısı milyarlarca ürünü dizine ekliyor, günde milyarlarca müşteri sorgusuna yanıt veriyor ve dünyanın en çok kullanılan hizmetlerinden biri.
Müşteri alışveriş deneyimini iyileştirmek üzere çok modlu (metin + görüntü), çok dilli, çok bölgeli, birden fazla görev üzerinde önceden eğitilmiş ve birden fazla varlığı (ürünler, sorgular, markalar, incelemeler vb.) kapsayan büyük dil modellerini (LLM) eğitiyoruz. Trn1 bulut sunucuları, diğer hızlandırılmış makine öğrenimi çözümlerine kıyasla en iyi performans/watt değerini sunarak LLM'leri eğitmemiz için daha sürdürülebilir bir yol sağlıyor ve bize en düşük maliyetle yüksek performans sunuyor. Eğitim verimliliğimizi ve geliştirme hızımızı daha da artırmak için yeni yapılandırılabilir FP8 veri türünü ve donanım hızlandırmalı stokastik yuvarlamayı kullanmayı planlıyoruz.
Trishul Chilimbi, Başkan Yardımcısı - Amazon Search -
Meta
AWS Neuron NxD Inference kitaplığı hakkında en sevdiğim şey, PyTorch modelleriyle sorunsuz bir şekilde entegre olmasıdır. NxD'nin yaklaşımı direkt ve kullanıcı dostudur. Ekibimiz HuggingFace PyTorch modellerini kısa bir zaman diliminde minimum kod değişikliği ile entegre edebildi. Sürekli Toplu İşleme ve Spekülatif Kod Çözme gibi gelişmiş özellikleri etkinleştirmek basitti. Bu kullanım kolaylığı geliştirici üretkenliğini artırarak ekiplerin inovasyona daha fazla ve entegrasyon zorluklarına daha az odaklanmasına olanak tanır.
Hamid Shojanazeri, PyTorch Ortağı Mühendislik Lideri, Meta