SageMaker JumpStart artık temel modelleri için optimize edilmiş dağıtımlar sunuyor
SageMaker JumpStart artık optimize edilmiş dağıtımlar sunarak müşterilerin belirli kullanım durumlarına ve performans kısıtlamalarına göre uyarlanmış önceden yapılandırılmış ayarlarla temel modellerini dağıtmalarına olanak tanır. SageMaker JumpStart için optimize edilmiş dağıtımlar, içerik oluşturma, özetleme veya Soru-Cevap gibi iş yükü gereksinimlerinize göre maliyet, aktarım hızı veya gecikme süresini optimize eden göreve duyarlı yapılandırmalar sunarak model dağıtımını basitleştirir. Bu lansman, Meta, Mictosoft, Mistral AI, Qwen, Google ve Til'den 30'dan fazla popüler model için destek içerir ve P50 gecikme süresi, ilk belirteç süresi (TTFT) ve dağıtımdan önceki aktarım hızı gibi anahtar performans ölçümlerine görünürlük sağlar.
Müşteriler, SageMaker JumpStart için optimize edilmiş dağıtımlarla duruma özgü yapılandırmalar arasından seçim yapabilir (üretken yazma veya sohbet tarzı etkileşimler gibi) ve maliyet, aktarım hızı veya gecikme için optimize edilmiş optimizasyon veya dengeli performans optimizasyon hedeflerini seçebilir. Modeller, dağıtım ayrıntılarının tam görünürlüğünü korurken varsayımları ortadan kaldıran önceden ayarlanmış yapılandırmalara sahip SageMaker AI Yönetilen Çıkarım uç noktalarına veya SageMaker HyperPod kümelerine dağıtılır. Mevcut modeller arasında Meta Llama 3.1 ve 3.2 varyantları, Microsoft Phi-3 yeni Mistral-Small-24B-Instruct-2501 dahil Mistral AI modelleri ve çok modlu Qwen2-VL, Google Gemma ve Til Falcom3 dahil Qwen 2 ve 3 serileri bulunur. Tüm dağıtımlar, SageMaker'ın VPC dağıtım özelliklerinden yararlanır ve kurumsal düzeyde güvenlikle veri kontrolü ve üretime hazır altyapı sağlar. Bu özellik, SageMaker JumpStart'ın şu anda desteklendiği tüm AWS bölgelerinde kullanılabilir.
Optimize edilmiş dağıtımları kullanmaya başlamak çin SageMaker Stüdyosu'ndaki Modeller seçeneğine gidin, JumpStart Modelleri sekmesinde istediğiniz temel modelini seçin, “Dağıtım” ı belirleyin ve kullanım durumunuzu ve performans optimizasyonu hedefinizi seçin. Ayrıntılar için SageMaker JumpStart belgelerini ziyaret edin. AWS,desteği ek modeller içerecek şekilde aktif olarak genişletiyor.