Amazon Bedrock Akıllı İstem Yönlendirme
Genel Bakış
Amazon Bedrock Akıllı İstem Yönlendirme, istemleri bir model ailesindeki farklı altyapı modellerine yönlendirir ve yanıt kalitesi ve maliyet açısından optimize etmenize yardımcı olur. Akıllı İstem Yönlendirme, doğruluktan ödün vermeden maliyetleri %30'a kadar azaltabilir.
Daha düşük maliyetle performansı en üst düzeye çıkarın
Geliştiriciler için hangi sorguların daha gelişmiş modeller gerektirdiğini veya daha küçük, daha hızlı ve daha ucuz modellerle çalışabileceğini anlamak zor olabilir. Gelişmiş istem eşleştirme ve model anlama tekniklerini kullanan Akıllı İstem Yönlendirme, her bir istek için her modelin performansını tahmin eder ve her isteği, istenen yanıtı en düşük maliyetle vereceğini tahmin ettiği modele dinamik olarak yönlendirir. Anthropic (Haiku, Haiku 3.5, Claude Sonnet 3.5 v1, Claude Sonnet 3.5 v2), Meta Llama (3.1 8b, 70b, 3.2 11B, 90B ve 3.3 70B) ve Amazon Nova (Nova Lite ve Nova Pro) ile aynı aileden herhangi iki modelle bir istem yönlendiricisini yapılandırabilirsiniz.
Geliştirme çabalarınızı azaltın
Uygulamalarınız için istenen performansı ve maliyeti elde etmek için, genellikle karmaşık düzenleme iş akışları geliştirmeniz ve her isteği doğruluk açısından istenen performansı elde etmek için deneyiminize göre bu istek için en uygun modele yönlendirmeniz gerekir. Akıllı İstek Yönlendirmesi ile Amazon Bedrock tarafından sağlanan varsayılan istem yönlendiricilerini seçerek veya kendi istemi yönlendiricilerinizi yapılandırarak farklı modelleri test etmek ve karmaşık düzenleme iş akışları oluşturmak için aylarca çabadan tasarruf edebilirsiniz. Bir model ailesinden iki model seçerek ve ardından yönlendiriciniz için yönlendirme kriterlerini yapılandırarak yönlendiricinizi kolayca yapılandırabilirsiniz.
Tamamen izlenebilir isteklerle kolayca hata ayıklama
Her istek tamamen izlenebilir olup, hangi modelin her isteği işlediğini belirlemenizi ve herhangi bir sorunu kolayca anlamanızı ve hataları ayıklamanızı sağlar.
