Amazon Bedrock Temsilciler, Akışlar ve Bilgi Tabanları artık Gecikme Süresi Optimize Edilmiş Modelleri destekliyor

Yayınlanma Tarihi: 23 Ara 2024

Amazon Bedrock Temsilcileri, Akışlar ve Bilgi Tabanları artık SDK aracılığıyla yakın zamanda duyurulan, önizleme aşamasındaki, gecikme için optimize edilmiş modellere destek sunuyor. Bu iyileştirme, Amazon Bedrock Araçlar ile oluşturulan yapay zeka uygulamalarına daha kısa yanıt süreleri ve artırılmış yanıt verme hızı sağlar. Şu anda bu optimizasyon Anthropic'in Claude 3.5 Haiku modeli ve Meta'nın Llama 3.1 405B ve 70B modelleri için mevcuttur ve doğruluktan ödün vermeden standart modellere kıyasla daha düşük gecikme süresi sağlar.

Bu güncelleme özellikle gerçek zamanlı müşteri hizmeti sohbet robotları ve etkileşimli kodlama asistanları gibi gecikmeye duyarlı uygulamalar geliştiren müşteriler için faydalıdır. Müşteriler, AWS Trainium2 gibi amaca yönelik yapay zeka çiplerinden ve Amazon Bedrock'taki gelişmiş yazılım optimizasyonlarından yararlanarak artık belirli kullanım durumları için çıkarımlarını optimize etmek üzere daha fazla seçeneğe erişebiliyor. Daha da önemlisi, bu özellikler ek kurulum veya model ince ayarı olmadan mevcut uygulamalara hemen entegre edilebilir. Bu da gelişmiş performans ve daha kısa yanıt süreleri sağlar.

Amazon Bedrock Temsilciler, Akışlar ve Bilgi Tabanları için gecikme açısından optimize edilmiş çıkarım desteği, bölgeler arası çıkarım yoluyla ABD Doğu (Ohio) Bölgesi'nde kullanılabilir. Müşteriler bu yeni özelliklere Amazon Bedrock SDK'si aracılığıyla bir çalışma zamanı yapılandırması üzerinden erişip bu optimize edilmiş modelleri programlı olarak iş akışlarına ve uygulamalarına dahil edebilir.

Bu gecikme açısından optimize edilmiş yeni çıkarım desteği de dahil olmak üzere Amazon Bedrock ve özellikleri hakkında daha fazla bilgi edinmek için Amazon Bedrock ürün sayfasını, fiyatlandırma sayfasını ve belgeleri ziyaret edin.