Amazon CloudWatch bổ sung khả năng quan sát AI tạo sinh (Xem trước)
Amazon CloudWatch hiện hỗ trợ theo dõi các ứng dụng và khối lượng công việc AI tạo sinh, bao gồm các tác tử được triển khai và vận hành với Amazon Bedrock AgentCore (Xem trước), cung cấp thông tin chuyên sâu về hiệu suất, tình trạng và độ chính xác của AI. Bạn sẽ có cái nhìn rõ ràng về độ trễ, mức sử dụng và lỗi của khối lượng công việc AI, từ đó giúp phát hiện vấn đề nhanh hơn ở các thành phần như gọi mô hình và tác tử. Ngoài ra, bạn còn có thể tìm thấy vấn đề nhanh hơn bằng cách sử dụng tính năng truy vết câu lệnh toàn diện ở các thành phần như cơ sở kiến thức, công cụ và mô hình. Tính năng này tương thích với các khung điều phối AI tạo sinh phổ biến như Strands Agents, LangChain và LangGraph, mang đến sự linh hoạt trong việc lựa chọn khung.
Với tính năng mới này, Amazon CloudWatch phân tích dữ liệu đo từ xa trên các thành phần của ứng dụng AI tạo sinh, giúp nhanh chóng xác định nguồn lỗi. Ví dụ: bạn có thể xác định chính xác nguồn của các phản hồi sai – từ lỗ hổng trong VectorDB của bạn hay do quá trình truy xuất RAG chưa hoàn chỉnh – bằng cách sử dụng tính năng truy vết câu lệnh toàn diện, số liệu và bản ghi chọn lọc. Chế độ xem kết nối về hoạt động tương tác giữa các thành phần giúp các nhà phát triển tối ưu hóa khối lượng công việc nhanh hơn nhằm mang lại mức độ sẵn sàng, độ chính xác, độ tin cậy và chất lượng cao. Nhà phát triển có thể đảm bảo tác tử AI vận hành trơn tru bằng cách giám sát và đánh giá nhóm tác tử từ cùng một nơi. Chế độ xem do tác tử quản lý có sẵn trong tab “AgentCore” trong bảng điều khiển CloudWatch cho khả năng quan sát GenAI. Khả năng quan sát AI tạo sinh được tích hợp với các khả năng CloudWatch khác như Tín hiệu ứng dụng, Báo động, Bảng điều khiển, Bảo vệ dữ liệu nhạy cảm và Thông tin chuyên sâu về bản ghi, giúp bạn mở rộng các công cụ quan sát hiện có liền mạch để theo dõi khối lượng công việc AI tạo sinh.
Tính năng này có sẵn ở dạng Xem trước tại 4 khu vực: Miền Đông Hoa Kỳ (Bắc Virginia), Miền Tây Hoa Kỳ (Oregon), Châu Âu (Frankfurt) và Châu Á Thái Bình Dương (Sydney). Để tìm hiểu thêm, hãy truy cập tài liệu. Giá CloudWatch áp dụng cho dữ liệu đo từ xa được thu thập và lưu trữ.