AgentCore Gateway kini mendukung API Bedrock InvokeModel serta mekanisme fallback model
Amazon Bedrock AgentCore Gateway kini mendukung API Amazon Bedrock InvokeModel dan InvokeModelWithResponseStream pada titik akhir inferensinya, beserta perutean fallback model untuk lalu lintas inferensi. Dengan dukungan InvokeModel, Anda dapat mengarahkan integrasi Amazon Bedrock SDK yang sudah ada ke gateway dan menjangkau penyedia model apa pun melalui satu titik akhir yang diatur, tanpa perlu menulis ulang kode klien untuk setiap penyedia. Dengan model fallback, gateway secara otomatis mengarahkan permintaan ke model atau penyedia alternatif ketika tujuan utama dibatasi, kehabisan kapasitas, atau tidak dapat dijangkau, sehingga agen Anda tetap tersedia tanpa setiap klien menerapkan logika percobaan ulang sendiri.
Untuk perutean fallback, Anda menentukan rantai tujuan alternatif yang berurutan dalam aturan gateway, bersama dengan kondisi yang memicu peralihan, seperti throttling, kesalahan server, atau waktu tunggu respons. Pemutus sirkuit bawaan akan melewati tujuan yang saat ini mengalami kegagalan, sehingga permintaan mencapai tujuan yang sehat lebih cepat dan Anda menghindari latensi tambahan untuk upaya yang gagal. Perutean fallback terjadi di balik layar, yang berarti Anda mengirim satu permintaan dan menerima satu respons, terlepas dari proses coba-coba internal pada permintaan tertentu.
Fitur-fitur ini tersedia di semua AWS Region tempat Amazon Bedrock AgentCore Gateway tersedia (kecuali yang berada di Tiongkok). Untuk mempelajari lebih lanjut, lihat Panduan Pengguna Amazon Bedrock AgentCore Gateway.