AWS Trainium Müşterileri

Anthropic'te milyonlarca insan işleri için her gün Claude'a güveniyor. AWS ile ilgili iki önemli gelişmeyi duyuruyoruz: Birincisi, Amazon Bedrock aracılığıyla Trainium2'de %60 daha hızlı çalışan, Claude 3.5 Haiku için yeni bir "gecikme için optimize edilmiş moddur". İkincisi ise, önceki kümemizin boyutunun 5 katından büyük olan ve yüzlerce exaflop sağlayan yüz binlerce Trainium2 yongasıyla yeni bir küme olan Project Rainier'dır. Project Rainier, hem araştırmamızı hem de yeni nesil ölçeklendirmemizi güçlendirmeye yardımcı olacak. Müşterilerimiz için bu, daha fazla zeka, daha düşük fiyatlar ve daha yüksek hızlar anlamına geliyor. Sadece daha hızlı yapay zeka oluşturmakla kalmıyoruz, ölçeklenebilen güvenilir yapay zeka inşa ediyoruz.

Databricks Mosaic AI, kuruluşların kaliteli Temsilci Sistemleri oluşturmasına ve dağıtmasına olanak tanır. Yerel olarak veri gölü evinin üzerine inşa edilmiştir ve müşterilerin modellerini kurumsal verilerle kolayca ve güvenli bir şekilde özelleştirmelerine ve daha doğru ve etki alanına özgü çıktılar sunmalarına olanak tanır. Trainium'un yüksek performansı ve uygun maliyetli olması sayesinde, müşteriler model eğitimini Mosaic AI üzerinde düşük maliyetle ölçeklendirebilmektedir. Mosaic AI'ya olan talep tüm müşteri segmentleri genelinde ve dünya çapında artmaya devam ettiğinden, Trainium2'nin erişilebilirliği Databricks ve müşterileri için büyük bir avantaj olacaktır. Dünyanın en büyük veri ve yapay zeka şirketlerinden biri olan Databricks, müşterileri için daha iyi sonuçlar sunmak ve TCO'yu %30'a kadar düşürmek için TRN2'yi kullanmayı planlıyor.

poolside'da, yapay zekanın ekonomik açıdan değerli çalışmaların ve bilimsel ilerlemenin büyük çoğunluğunu yönlendireceği bir dünya inşa etmeye hazırız. Yazılım geliştirme sürecinin, sinir ağlarında insan düzeyinde zekaya ulaşan ilk önemli yetenek olacağına inanıyoruz çünkü burası, Arama ve Öğrenme yaklaşımlarını en iyi şekilde birleştirebileceğimiz etki alanıdır. Bunu sağlamak üzere altyapı modelleri, bir API ve üretken yapay zekanın gücünü geliştiricilerinizin ellerine (veya klavyesine) getirmek için bir Asistan oluşturuyoruz. Bu teknolojiyi sağlamanın önemli bir anahtarı, ürünlerimizi oluşturmak ve çalıştırmak için kullandığımız altyapıdır. AWS Trainium2 ile müşterilerimiz, poolside kullanımlarını diğer yapay zeka hızlandırıcılarından çok farklı bir fiyat performansı ile ölçeklendirebilecek. Ayrıca Trainium2 UltraServers ile, EC2 P5 bulut sunucularına kıyasla beklenen %40 tasarrufla gelecekteki modelleri eğitmeyi planlıyoruz.

AWS Trainium ve Inferentia'yı standart çıkarımdan ince ayarlanmış uygulamalara kadar çeşitli görevlerde test ettik. Bu yapay zeka yongalarının performansı, araştırma ve geliştirme sürecimizde önemli kilometre taşlarına ulaşmamızı sağladı. Hem toplu hem de çevrimiçi çıkarım görevleri için, GPU'lara kıyasla aktarım hızında 7 kat iyileşme gördük. Bu gelişmiş performans, kuruluş genelinde daha fazla kullanım örneğine genişleme imkanı sağlıyor. En yeni nesil Trainium2 yongaları, GenAI için çığır açan özelliklerin ve Itau'da inovasyonun kapısını açıyor.

AWS TRN2'nin lansmanı için son derece heyecanlıyız çünkü Llama 3.1 405B'yi temel alan ana modelimiz Ninja LLM için belirteç başına en iyi performansı ve mevcut durumda mümkün olan en yüksek hızı sunacağına inanıyoruz. Trn2'nin düşük gecikme süresinin rekabetçi fiyatlar ve istek üzerine erişilebilirlik ile birleştiğini görmek harika. Trn2'nin gelişi konusunda çok heyecanlıyız!

Trn1 bulut sunucularına geçmek kolay ve direkt oldu. 4.096 Trainium yongasından oluşan bir küme kullanarak 13B parametreli LLM'mize sadece 8 günde ön eğitim sağlayabildik. Daha küçük modelimizde gördüğümüz başarıdan sonra, Llama-3-Swallow-70B'yi temel alarak daha büyük ve yeni bir LLM'ye ince ayar uyguladık ve Trainium'dan yararlanarak AWS'deki en yeni GPU makinelerinin kullanımına kıyasla eğitim maliyetlerimizi %50 azaltabildik ve enerji verimliliğini %25 artırabildik. Müşterilerimize en iyi performansı en düşük maliyetle sunmaya devam etmek için, en yeni nesil AWS Yapay Zeka Yongaları olan Trainium2'den yararlanmaktan heyecan duyuyoruz.

AWS Neuron NxD Inference kitaplığı hakkında en sevdiğim şey, PyTorch modelleriyle sorunsuz bir şekilde entegre olmasıdır. NxD'nin yaklaşımı direkt ve kullanıcı dostudur. Ekibimiz HuggingFace PyTorch modellerini kısa bir zaman diliminde minimum kod değişikliği ile entegre edebildi. Sürekli Toplu İşleme ve Spekülatif Kod Çözme gibi gelişmiş özellikleri etkinleştirmek basitti. Bu kullanım kolaylığı geliştirici üretkenliğini artırarak ekiplerin inovasyona daha fazla ve entegrasyon zorluklarına daha az odaklanmasına olanak tanır.

Müşteriler EC2 Inf2 bulut sunucularında EC2 G5 bulut sunucularına kıyasla %20'ye kadar daha yüksek performans ve dolar başına 1,5 kat daha yüksek belirteç gördü. Refact.ai'ın ince ayar yetenekleri, müşterilerimizin kuruluşlarına yönelik benzersiz kod tabanını ve ortamını anlama ve bunlara uyum sağlama yeteneklerini daha da geliştirir. Ayrıca iş akışlarımıza daha hızlı ve daha verimli bir işleme süreci sağlayacak Trainium2'nin yeteneklerini sunmaktan heyecan duyuyoruz. Bu gelişmiş teknoloji, müşterilerimizin kod tabanları için katı güvenlik standartlarını korurken geliştirici üretkenliğini artırarak yazılım geliştirme süreçlerini hızlandırmalarını sağlayacaktır.

KARAKURI, web tabanlı müşteri desteğinin verimliliğini artırmak ve müşteri deneyimlerini basitleştirmek için yapay zeka araçları oluşturmaktadır. Bu araçlar, üretken yapay zeka işlevleriyle donatılmış AI sohbet robotlarını, SSS merkezileştirme araçlarını ve tümü müşteri desteğinin verimliliğini ve kalitesini artıran bir e-posta yanıt aracını içerir. AWS Trainium'u kullanarak KARAKURI LM 8x7B Chat v0.1'i eğitmeyi başardık. Kendimiz gibi startup'lar için, LLM'leri eğitmek için gereken oluşturma süresini ve maliyeti optimize etmemiz gerekiyor. AWS Trainium ve AWS Ekibinin desteğiyle kısa sürede pratik düzeyde bir LLM geliştirmeyi başardık. Ayrıca AWS Inferentia'yı benimseyerek hızlı ve uygun maliyetli bir çıkarım hizmeti oluşturabildik. Trainium2 konusunda çok heyecanlıyız çünkü eğitim sürecimizde devrim yaratacak, eğitim süremizi 2 kat azaltacak ve verimliliği yeni zirvelere taşıyacak!

"Değer yaratma mekanizmasını yeniden tasarlayarak insanlığı ilerletme" misyonuyla Stockmark, en son doğal dil işleme teknolojilerini sağlaması sayesinde birçok şirketin yenilikçi işletmeler oluşturup kurmasına yardımcı olur. Stockmark'ın yeni veri analiz ve toplama hizmeti olan Anews ve bir kuruluşta depolanan tüm biçimlerdeki bilgileri düzenlemek suretiyle üretken yapay zeka kullanımlarını ciddi ölçüde geliştiren bir veri yapılandırma hizmeti olan SAT, bu ürünleri desteklemek üzere modelleri oluşturup dağıtma şeklimizi yeniden tasarlamamızı gerektiriyordu. 256 Trainium hızlandırıcıyla, 220 milyar belirteçten oluşan bir Japon derlem veri kümesi üzerinde sıfırdan ön eğitim sağlanmış, 13 milyar parametreye sahip büyük bir dil modeli olan stockmark-13b'yi geliştirdik ve yayınladık. Trn1 bulut sunucuları eğitim maliyetlerimizi %20 oranında azaltmamıza yardımcı oldu. Trainium'dan yararlanarak, profesyoneller için iş açısından kritik soruları benzeri görülmemiş bir doğruluk ve hızla cevaplayabilen bir LLM'yi başarılı şekilde geliştirdik. Bu başarı, şirketlerin model geliştirme için yeterli bilgi işlem kaynaklarını güvence altına alma konusunda karşılaştıkları yaygın zorluklar göz önüne alındığında özellikle dikkate değerdir. Trn1 bulut sunucularının etkileyici hızı ve maliyeti azaltması sayesinde, Trainium2'nin iş akışlarımıza ve müşterilerimize getireceği ek avantajları görmekten heyecan duyuyoruz.