AgentCore Ağ Geçidi artık Bedrock InvokeModel API'lerini ve model geri dönüşünü destekliyor
Amazon Bedrock AgentCore Ağ Geçidi artık çıkarım uç noktasında Amazon Bedrock InvokeModel ve InvokeModelWithResponseStream API'lerini ve çıkarım trafiği için model geri dönüş yönlendirmesini destekliyor. InvokeModel desteğiyle, mevcut Amazon Bedrock SDK entegrasyonunuzu ağ geçidine yönlendirebilir ve her sağlayıcı için istemci kodunu yeniden yazmadan tek bir yönetilen uç nokta üzerinden herhangi bir model sağlayıcısına ulaşabilirsiniz. Ağ geçidi, model geri dönüşü sayesinde birincil hedefi kısıtlandığında, kapasitesi azaldığında veya erişilemediğinde isteği otomatik olarak alternatif bir modele veya sağlayıcıya yönlendirir, böylece temsilcileriniz her istemci kendi yeniden deneme mantığını uygulamadan kullanılabilir kalır.
Yedek yönlendirme için bir ağ geçidi kuralında kısıtlama, sunucu hataları veya yanıt zaman aşımları gibi bir anahtarı tetikleyen koşullarla birlikte sıralı bir alternatif hedef zinciri tanımlarsınız. Yerleşik devre kesici şu anda başarısız olan hedefleri atlar, böylece istekler sağlıklı bir hedefe daha hızlı ulaşır ve başarısız denemeler için ek gecikmeyi önlersiniz. Yedek yönlendirme arka planda gerçekleşir; bu, belirli bir istek üzerindeki dahili deneme yanılma ne olursa olsun, bir istek gönderdiğiniz ve bir yanıt aldığınız anlamına gelir.
Bu özellikler, Amazon Bedrock AgentCore Ağ Geçidi'nin kullanılabildiği tüm AWS Bölgelerinde kullanılabilir (Çin bölgeleri hariç). Daha fazla bilgi edinmek için Amazon Bedrock AgentCore Ağ Geçidi Kullanıcı Kılavuzu'na bakın.