Amazon Bedrock'taki temel modeller için gecikme açısından optimize edilmiş çıkarımlarla tanışın

Yayınlanma Tarihi: 2 Ara 2024

Amazon Bedrock'taki temel modeller için gecikme süresi açısından optimize edilmiş çıkarım artık genel önizlemede. Bu özellik, yapay zeka uygulamaları için daha kısa yanıt süreleri ve gelişmiş yanıt verme özelliği sunuyor. Şu anda, bu yeni çıkarım seçenekleri, doğruluktan ödün vermeden standart modellere kıyasla daha düşük gecikme süresi sunan Anthropic'in Claude 3.5 Haiku modelini ve Meta'nın Llama 3.1 405B ve 70B modellerini desteklemektedir. Anthropic tarafından doğrulandığı üzere, Amazon Bedrock'ta gecikme süresi açısından optimize edilmiş çıkarımla Claude 3.5 Haiku, AWS'de başka hiçbir yerde olmadığı kadar hızlı çalışır. Ayrıca, Bedrock'ta gecikme süresi açısından optimize edilmiş çıkarım ile Llama 3.1 405B ve 70B, AWS'de diğer tüm büyük bulut sağlayıcılarından daha hızlı çalışır.

Daha fazla müşteri üretken yapay zeka uygulamalarını üretime taşıdıkça, özellikle gerçek zamanlı müşteri hizmetleri sohbet robotları ve etkileşimli kodlama asistanları gibi gecikmeye duyarlı uygulamalar için son kullanıcı deneyimini optimize etmek çok önemli hale geliyor. Müşteriler, AWS Trainium2 gibi amaca yönelik yapay zeka çiplerini ve Amazon Bedrock'taki gelişmiş yazılım optimizasyonlarını kullanarak, belirli bir kullanım durumu için çıkarımlarını optimize etmek üzere daha fazla seçeneğe erişebilir. Bu özelliklere erişmek için ek kurulum veya modelle ilgili ince ayar gerekmez. Bu da mevcut uygulamaların daha kısa yanıt süreleriyle anında iyileştirilmesine olanak tanır.

Gecikme için optimize edilmiş çıkarım, bölgeler arası çıkarım yoluyla ABD Doğu (Ohio) Bölgesi'ndeki Anthropic'in Claude 3.5 Haiku ve Meta'nın Llama 3.1 405B ve 70B modellerinde kullanılabilir. Başlamak için Amazon Bedrock Konsolu'nu ziyaret edin. Amazon Bedrock ve özellikleri hakkında daha fazla bilgi için Amazon Bedrock ürün sayfası, fiyatlandırma sayfası ve belgeleri ziyaret edin.