Llama 3.3 70B artık Amazon SageMaker JumpStart aracılığıyla AWS'de kullanılabilir
AWS müşterileri artık Amazon SageMaker JumpStart aracılığıyla Meta Llama 3.3 70B modeline erişebilir. Llama 3.3 70B modeli, yüksek performansı hesaplama verimliliği ile dengeler. Ayrıca, önemli ölçüde daha az kaynak gerektirirken daha büyük Llama sürümleriyle karşılaştırılabilir bir çıktı kalitesi sunar ve bu da onu uygun maliyetli AI dağıtımları için harika bir seçim haline getirir.
Llama 3.3 70B, çıkarım maliyetlerini önemli ölçüde azaltan gelişmiş bir dikkat mekanizmasına sahiptir. Web kaynaklı içerik ve sentetik örnekler dahil yaklaşık 15 trilyon belirteçle eğitilen model, kapsamlı ve denetimli bir ince ayar aşamasıyla İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF) sürecinden geçmiştir. Bu yaklaşım, yüksek performans standartlarını korurken çıktıları insan tercihleriyle daha uyumlu hale getirir. Meta'ya göre bu verimlilik kazancı, yaklaşık beş kat daha uygun maliyetli çıkarım işlemleriyle sonuçlanır. Bu da modeli üretim dağıtımları için çekici bir seçenek haline getirir.
Müşteriler, Llama 3.3 70B'yi SageMaker JumpStart kullanıcı arabirimi aracılığıyla veya SageMaker Python SDK'sini kullanarak programlı olarak dağıtabilir. SageMaker AI çözümüyle sunulan gelişmiş çıkarım yetenekleri, dağıtımlarınız için hem performansı hem maliyet verimliliğini optimize etmeye yardımcı olur. Böylece, kolaylaştırılmış bir dağıtım sürecinden yararlanırken Llama 3.3 70B'nin doğal verimliliğinden tam olarak yararlanabilmenizi sağlar.
Llama 3.3 70B modeli, Amazon SageMaker AI çözümünün kullanılabildiği tüm AWS Bölgelerinde mevcuttur. Llama 3.3 70B'yi Amazon SageMaker JumpStart'ta dağıtma hakkında daha fazla bilgi için belgelere bakın veya blogu okuyun.