Amazon Bedrock mở rộng hỗ trợ phân bổ mức sử dụng ở cấp độ yêu cầu
Khách hàng của Amazon Bedrock giờ đây có thể phân bổ mức sử dụng suy luận mô hình cho các đội ngũ, ứng dụng, môi trường và thử nghiệm cụ thể ở cấp độ yêu cầu riêng lẻ trên API InvokeModel và InvokeModelWithResponseStream. Điều này cung cấp cho khách hàng khả năng hiển thị chi tiết về cách mức sử dụng Amazon Bedrock của họ được phân phối trên toàn tổ chức, giúp họ
hiểu các cách thức tiêu dùng, tối ưu hóa chi tiêu và báo cáo lại mức sử dụng cho các bên liên quan nội bộ mà không cần cung cấp thêm tài nguyên.
Lần ra mắt này được xây dựng dựa trên danh mục khả năng phân bổ sử dụng hiện có của Amazon Bedrock. Khách hàng đã có thể phân bổ mức sử dụng suy luận mô hình ở cấp tài nguyên và danh tính bằng cách sử dụng cấu hình suy luận ứng dụng, phân bổ dựa trên đối tượng nhận quyền IAM, theo dõi cấp dự án trên điểm cuối bedrock-mantle tương thích với OpenAI và theo dõi cấp không gian làm việc cho
các mô hình Anthropic Claude. Đối với phân bổ chi tiết hơn cho mỗi yêu cầu, API Converse và ConverseStream đã hỗ trợ siêu dữ liệu cấp yêu cầu kể từ khi khởi chạy. Bản phát hành hôm nay mang lại khả năng tương tự cho API InvokeModel và InvokeModelWithResponseStream, giúp khách hàng gắn thẻ các lệnh gọi suy luận trên toàn bộ điểm cuối bedrock-runtime một cách nhất quán.
Với lần ra mắt này, khách hàng có thể gắn thẻ mỗi lệnh gọi suy luận mô hình Amazon Bedrock bằng các thuộc tính như đội ngũ, dự án hoặc môi trường và phân tích mức sử dụng bằng các thẻ này trong bản ghi lượt gọi mô hình Amazon Bedrock. Để bắt đầu, hãy bật tính năng tạo bản ghi lượt gọi mô hình trong Khu vực AWS mà bạn gọi Amazon Bedrock, sau đó thêm siêu dữ liệu vào yêu cầu suy luận của bạn. Tính năng này được cung cấp ở tất cả các Khu vực AWS thương mại có Amazon Bedrock. Để tìm hiểu thêm, hãy xem Siêu dữ liệu yêu cầu.