Cơ sở kiến thức về Amazon Bedrock hiện hỗ trợ tính năng suy luận liên khu vực
Hôm nay, Cơ sở kiến thức về Amazon Bedrock công bố hỗ trợ tính năng suy luận liên khu vực – một tính năng không bắt buộc, cho phép nhà phát triển dùng khả năng điện toán ở các Khu vực AWS khác nhau để kiểm soát liền mạch tình trạng lưu lượng tăng vọt.
Thông qua tính năng suy luận liên khu vực, khách hàng Cơ sở kiến thức về Amazon Bedrock sử dụng API RetrieveAndGenerate sẽ có thể nhận được giới hạn thông lượng cao hơn và khả năng phục hồi được tăng cường ở giai đoạn cao điểm nhu cầu. Khi chọn tham gia, nhà phát triển không còn phải dành thời gian và công sức để dự đoán sự biến động về nhu cầu nữa. Thay vào đó, tính năng suy luận liên khu vực tự động định tuyến lưu lượng truy cập trong nhiều khu vực, đảm bảo tính sẵn sàng tối ưu cho từng yêu cầu và hiệu suất trơn tru hơn khi sử dụng nhiều. Để sử dụng tính năng suy luận liên khu vực, khách hàng cần chỉ định cấu hình suy luận là “modelARN” trong yêu cầu của API RetrieveAndGenerate. Không mất thêm phí định tuyến khi sử dụng tính năng suy luận liên khu vực. Bạn sẽ bị tính phí dựa trên khu vực bạn thực hiện yêu cầu (khu vực nguồn).
Vui lòng xem danh sách các mô hình được hỗ trợ và các khu vực được xác định trước tại đây. Để tìm hiểu thêm về tính năng này và cách bắt đầu, hãy tham khảo tài liệu về Amazon Bedrock hoặc blog này.