Amazon Bedrock giới thiệu tầng dịch vụ Đặt trước
Hôm nay, Amazon Bedrock giới thiệu một tầng dịch vụ Đặt trước mới được thiết kế cho khối lượng công việc yêu cầu hiệu năng có thể dự đoán được và dung lượng mã thông báo mỗi phút được đảm bảo. Với tầng Đặt trước này, bạn có thể đặt trước dung lượng điện toán được ưu tiên, duy trì mức dịch vụ có thể dự đoán được cho các ứng dụng quan trọng của mình. Ngoài ra, tầng này còn cho phép linh hoạt phân bổ dung lượng mã thông báo đầu vào và đầu ra mỗi phút khác nhau nhằm đáp ứng yêu cầu chính xác của khối lượng công việc và chi phí kiểm soát của bạn. Điều này đặc biệt hữu ích vì nhiều khối lượng công việc có kiểu sử dụng mã thông báo không đối xứng. Ví dụ, các tác vụ tóm tắt sử dụng nhiều mã thông báo đầu vào nhưng tạo ra ít mã thông báo đầu ra hơn, trong khi các ứng dụng tạo nội dung yêu cầu dung lượng đầu vào thấp nhưng dung lượng đầu ra cao hơn. Khi ứng dụng của bạn cần dung lượng mã thông báo mỗi phút nhiều hơn mức bạn đã đặt trước, dịch vụ sẽ tự động chuyển sang tầng Tiêu chuẩn thanh toán theo mức sử dụng, đảm bảo hoạt động không bị gián đoạn. Tầng Đặt trước nhắm đến mục tiêu đảm bảo thời gian hoạt động cho phản hồi của mô hình đạt 99,5% và hiện có sẵn cho Anthropic Claude Sonnet 4.5. Khách hàng có thể đặt trước dung lượng cho khoảng thời gian 1 tháng hoặc 3 tháng. Khách hàng trả một mức giá cố định cho mỗi 1.000 mã thông báo mỗi phút và được tính phí hàng tháng.
Với tầng dịch vụ Đặt trước, Amazon Bedrock tiếp tục cung cấp thêm nhiều sự lựa chọn cho khách hàng, giúp họ phát triển, điều chỉnh quy mô và triển khai các ứng dụng cũng như tác tử nhằm cải thiện năng suất và trải nghiệm của khách hàng, đồng thời cân bằng giữa yêu cầu về hiệu suất và chi phí.
Để biết thêm thông tin về những Khu vực AWS hỗ trợ Amazon Bedrock Đặt trước, hãy tham khảo Tài liệu. Để có quyền truy cập vào tầng Đặt trước, vui lòng liên hệ với nhóm phụ trách tài khoản AWS của bạn.