Amazon Bedrock giới thiệu các bậc dịch vụ suy luận Ưu tiên và Linh hoạt
Hôm nay, Amazon Bedrock giới thiệu hai bậc dịch vụ suy luận mới để tối ưu hóa chi phí và hiệu năng cho các khối lượng công việc AI khác nhau. Bậc Linh hoạt mới cung cấp mức giá tiết kiệm chi phí cho các ứng dụng không quan trọng về thời gian như đánh giá mô hình và tóm tắt nội dung trong khi bậc Ưu tiên cung cấp hiệu năng cao và xử lý ưu tiên cho các ứng dụng tối quan trọng. Đối với hầu hết các mô hình hỗ trợ Bậc Ưu tiên, khách hàng có thể nhận thấy độ trễ mã thông báo đầu ra mỗi giây (OTPS) tốt hơn tới 25% so với bậc tiêu chuẩn. Chúng tham gia vào bậc Tiêu chuẩn hiện có cho các ứng dụng AI hàng ngày với hiệu năng đáng tin cậy.
Các bậc dịch vụ này giải quyết những thách thức chính mà các tổ chức phải đối mặt khi triển khai AI trên quy mô lớn. Bậc Linh hoạt được thiết kế cho khối lượng công việc không tương tác có thể chịu được độ trễ lâu hơn, lý tưởng cho đánh giá mô hình, tóm tắt nội dung, ghi nhãn và chú thích cũng như quy trình làm việc tác tử nhiều bước và có mức giá chiết khấu so với bậc Tiêu chuẩn. Trong những thời điểm đòi hỏi cao, các yêu cầu Linh hoạt được ưu tiên thấp hơn so với bậc Tiêu chuẩn. Bậc Ưu tiên là lựa chọn lý tưởng cho các ứng dụng tối quan trọng, tương tác người dùng cuối theo thời gian thực và các trải nghiệm tương tác, đòi hỏi phản hồi nhanh chóng và nhất quán. Trong thời điểm đòi hỏi cao, các yêu cầu Ưu tiên được ưu tiên xử lý, với mức giá cao, so với các bậc dịch vụ khác. Các bậc dịch vụ mới này hiện có sẵn cho một loạt các mô hình nền tảng hàng đầu, bao gồm OpenAI (gpt-oss-20b, gpt-oss-120b), DeepSeek (DeepSeek V3.1), Qwen3 (Coder-480B-A35B-Instruct, Coder-30B-A3B-Instruct, 32B dense, Qwen3-235B-A22B-2507) và Amazon Nova (Nova Pro và Nova Premier). Với các tùy chọn mới này, Amazon Bedrock giúp khách hàng kiểm soát tốt hơn trong việc cân bằng hiệu quả chi phí với các yêu cầu về hiệu năng, cho phép khách hàng điều chỉnh quy mô khối lượng công việc AI một cách tiết kiệm đồng thời đảm bảo trải nghiệm người dùng tối ưu cho các ứng dụng quan trọng nhất của họ.
Để biết thêm thông tin về Khu vực AWS cung cấp các bậc dịch vụ suy luận Amazon Bedrock Ưu tiên và Linh hoạt, hãy xem bảng Khu vực AWS
Tìm hiểu thêm về các bậc dịch vụ trong Blog tin tức và tài liệu của chúng tôi.