Amazon Bedrock hiện hỗ trợ tính năng suy luận liên khu vực toàn cầu cho Anthropic Claude Sonnet 4
Claude Sonnet 4 của Anthropic hiện được cung cấp với tính năng suy luận liên khu vực toàn cầu trong Amazon Bedrock, vì vậy, giờ đây, bạn có thể sử dụng hồ sơ suy luận toàn cầu của Claude Sonnet 4 để định tuyến các yêu cầu suy luận đến bất kỳ Khu vực AWS thương mại được hỗ trợ nào để xử lý, từ đó tối ưu hóa các tài nguyên sẵn có và nâng cao thông lượng của mô hình.
Amazon Bedrock là một dịch vụ toàn diện, an toàn và linh hoạt để xây dựng các ứng dụng và tác tử AI tạo sinh. Khi bạn sử dụng tính năng suy luận hàng loạt và theo yêu cầu trong Amazon Bedrock, yêu cầu của bạn có thể bị hạn chế bởi hạn mức dịch vụ hoặc trong thời gian sử dụng cao điểm. Tính năng suy luận liên khu vực cho phép bạn quản lý liền mạch các đợt bùng phát lưu lượng ngoài kế hoạch bằng cách vận dụng khả năng điện toán ở các Khu vực AWS khác nhau. Với tính năng suy luận liên khu vực, bạn có thể phân phối lưu lượng đến nhiều Khu vực AWS để nâng cao thông lượng. Trước đây, bạn có thể chọn trong số các cấu hình suy luận liên khu vực được liên kết với một khu vực địa lý cụ thể, như Hoa Kỳ, EU hoặc Châu Á – Thái Bình Dương, từ đó Khu vực AWS thương mại tối ưu sẽ được chọn tự động để xử lý các yêu cầu suy luận của bạn. Đối với các trường hợp sử dụng AI tạo sinh không yêu cầu bạn chọn cấu hình suy luận gắn với một khu vực địa lý cụ thể, bạn hiện có thể sử dụng cấu hình suy luận liên khu vực Toàn cầu để gia tăng hơn nữa thông lượng của mô hình.
Để tìm hiểu thêm về tính năng suy luận liên khu vực toàn cầu trong Amazon Bedrock, bạn có thể bắt đầu bằng cách truy cập tài liệu của chúng tôi về tăng thông lượng với tính năng suy luận liên khu vực, xem Khu vực và mô hình được hỗ trợ cho hồ sơ suy luận và làm theo các bước được đề cập trên trang Sử dụng hồ sơ suy luận trong gọi mô hình.