API Count Tokens được hỗ trợ cho các mô hình Claude của Anthropic hiện có trong Amazon Bedrock
API Count Tokens hiện được cung cấp trong Amazon Bedrock, cho phép bạn xác định số lượng mã thông báo cho một câu lệnh hoặc đầu vào nhất định được gửi đến một ID mô hình cụ thể trước khi thực hiện bất kỳ suy luận nào.
Bằng cách hiển thị số lượng mã thông báo của câu lệnh, API Count Tokens cho phép bạn dự đoán chính xác hơn chi phí của mình, đồng thời cung cấp cho bạn sự minh bạch và khả năng kiểm soát cao hơn đối với mức sử dụng mô hình AI của mình. API này cho phép bạn chủ động quản lý giới hạn mã thông báo của mình trên Amazon Bedrock, giúp tối ưu hoá mức sử dụng của bạn và tránh tiết lưu bất ngờ. Nó cũng giúp đảm bảo khối lượng công việc của bạn phù hợp với giới hạn độ dài ngữ cảnh của mô hình, cho phép tối ưu hoá câu lệnh hiệu quả hơn.
Khi ra mắt, API Count Tokens sẽ hỗ trợ các mô hình Claude, với chức năng được cung cấp ở tất cả các khu vực mà các mô hình này được hỗ trợ. Để biết thêm thông tin về tính năng mới này, bao gồm các mô hình được hỗ trợ và trường hợp sử dụng, hãy truy cập tài liệu API Count Tokens.