Amazon Bedrock bổ sung các chỉ số Amazon CloudWatch cho các API tương thích với OpenAI và Anthropic
Amazon Bedrock là dịch vụ được quản lý đầy đủ cung cấp quyền truy cập an toàn ở cấp doanh nghiệp vào các mô hình nền tảng hiệu năng cao từ các công ty AI hàng đầu, cho phép bạn xây dựng và điều chỉnh quy mô các ứng dụng AI tạo sinh. Khách hàng của Amazon Bedrock giờ đây có thể giám sát lưu lượng suy luận đến điểm cuối bedrock-mantle với các chỉ số Amazon CloudWatch, tương tự như cách họ đã thực hiện đối với điểm cuối bedrock-runtime và các dịch vụ khác của AWS. Điểm cuối bedrock-mantle hỗ trợ API Responses của OpenAI, API Chat Completions của OpenAI và API Messages của Anthropic, cho phép khách hàng chạy các ứng dụng hiện có dựa trên OpenAI hoặc Anthropic trên Amazon Bedrock với thay đổi mã ở mức tối thiểu.
Các chỉ số CloudWatch cho điểm cuối bedrock-mantle được xuất bản trong không gian tên AWS/BedrockMantle và bao gồm số lượng suy luận, tổng mã thông báo đầu vào và đầu ra, cùng với số lượng lỗi máy khách. Các chỉ số được xuất bản ở nhiều cấp độ chi tiết, bao gồm tài khoản, dự án, mô hình và dự án-mô hình, vì vậy khách hàng có thể gán mức sử dụng và chi phí cho khối lượng công việc và đội ngũ phù hợp.
Với lần ra mắt này, khách hàng có thể giám sát suy luận trong môi trường sản xuất, thiết lập cảnh báo và lập kế hoạch dung lượng trên điểm cuối bedrock-mantle. Để bắt đầu, hãy mở bảng điều khiển Amazon CloudWatch, chọn Chỉ số và chọn không gian tên AWS/BedrockMantle để xem chỉ số cho tài khoản của bạn. Các chỉ số CloudWatch cho điểm cuối bedrock-mantle có sẵn ở tất cả các Khu vực AWS cung cấp điểm cuối này: Miền Đông Hoa Kỳ (Bắc Virginia, Ohio), Miền Tây Hoa Kỳ (Oregon), Châu Á Thái Bình Dương (Jakarta, Mumbai, Sydney, Tokyo), Châu Âu (Frankfurt, Ireland, London, Milan, Stockholm) và Nam Mỹ (São Paulo). Để tìm hiểu thêm, hãy xem các chỉ số CloudWatch cho điểm cuối bedrock-mantle.