AgentCore Gateway で Bedrock InvokeModel API およびモデルフォールバックのサポートを開始
Amazon Bedrock AgentCore Gateway では、推論エンドポイントでの Amazon Bedrock InvokeModel および InvokeModelWithResponseStream API のサポートを開始し、併せて推論トラフィックのモデルフォールバックルーティングのサポートも開始しました。InvokeModel のサポートにより、既存の Amazon Bedrock SDK 統合をゲートウェイに向け、プロバイダーごとにクライアントコードを書き換えることなく、単一の統制されたエンドポイントを通じて任意のモデルプロバイダーにアクセスできるようになります。モデルフォールバックにより、プライマリの送信先がスロットリングされたり、キャパシティ不足になったり、到達不能になったりした場合に、ゲートウェイがリクエストを代替のモデルまたはプロバイダーに自動的にルーティングするため、各クライアントが独自の再試行ロジックを実装しなくてもエージェントの可用性を維持できます。
フォールバックルーティングでは、スロットリング、サーバーエラー、レスポンスのタイムアウトなど、切り替えのトリガーとなる条件とともに、ゲートウェイルールで代替の送信先の優先順位チェーンを定義します。組み込みのサーキットブレーカーによって現在失敗している送信先がスキップされるため、リクエストが正常な送信先により迅速に到達し、失敗した試行によるレイテンシーの増加を回避できます。フォールバックルーティングはバックグラウンドで実行されるため、特定のリクエストで内部的な試行錯誤が発生した場合でも、お客様は 1 回のリクエストを送信して 1 回のレスポンスを受信するだけです。
これらの機能は、Amazon Bedrock AgentCore Gateway が利用可能なすべての AWS リージョン (中国を除く) でご利用いただけます。詳細については、Amazon Bedrock AgentCore Gateway ユーザーガイドを参照してください。