Cổng kết nối AgentCore hiện hỗ trợ các API Bedrock InvokeModel và dự phòng mô hình
Cổng kết nối Amazon Bedrock AgentCore hiện hỗ trợ các API InvokeModel và InvokeModelWithResponseStream của Amazon Bedrock trên điểm cuối suy luận, cùng với định tuyến dự phòng mô hình cho lưu lượng suy luận. Với hỗ trợ InvokeModel, bạn có thể trỏ tích hợp SDK Amazon Bedrock hiện tại vào cổng và tiếp cận bất kỳ nhà cung cấp mô hình nào thông qua một điểm cuối được quản lý mà không cần viết lại mã máy khách cho từng nhà cung cấp. Với dự phòng mô hình, cổng này tự động định tuyến yêu cầu đến một mô hình hoặc nhà cung cấp thay thế khi đích chính bị tiết lưu, hết dung lượng hoặc không thể truy cập. Do đó, tác tử của bạn luôn sẵn sàng mà không cần mỗi máy khách triển khai logic thử lại riêng.
Đối với định tuyến dự phòng, bạn xác định chuỗi các điểm đến thay thế có thứ tự trong quy tắc cổng, cùng với các điều kiện kích hoạt chuyển đổi, chẳng hạn như tiết lưu, lỗi máy chủ hoặc hết thời gian phản hồi. Bộ ngắt mạch tích hợp bỏ qua các đích hiện bị lỗi, vì vậy các yêu cầu đến đích ở tình trạng tốt nhanh hơn và bạn tránh thêm độ trễ cho các lần thử bị lỗi. Định tuyến dự phòng xảy ra ở chế độ nền, có nghĩa là bạn gửi một yêu cầu và nhận được một phản hồi, bất kể thao tác thử và sai nội bộ trên một yêu cầu nhất định.
Các tính năng này được cung cấp ở tất cả các Khu vực AWS nơi có sẵn Cổng kết nối Amazon Bedrock AgentCore (ngoại trừ các khu vực ở Trung Quốc). Để tìm hiểu thêm, hãy xem Hướng dẫn sử dụng Cổng kết nối Amazon Bedrock AgentCore.