Tín hiệu về ứng dụng của Amazon CloudWatch hiện đã hỗ trợ Amazon Bedrock
Tín hiệu về ứng dụng của Amazon CloudWatch hiện hỗ trợ Amazon Bedrock, cho phép người dùng khắc phục lỗi và tình trạng hiệu suất chậm trong các ứng dụng AI tạo sinh. Amazon Bedrock là một dịch vụ được quản lý toàn phần cung cấp mô hình nền tảng (FM) do các công ty AI hàng đầu như Anthropic, Meta và Amazon xây dựng, cùng các công cụ khác để xây dựng ứng dụng AI tạo sinh. Với người dùng có ứng dụng AI tạo sinh phụ thuộc vào Bedrock FM, bước cải tiến này giúp họ hiểu rõ hơn về tác động của các lỗi như ngoại lệ xác thực mô hình hoặc độ trễ ở các mô hình khác nhau đến trải nghiệm người dùng cuối.
Tín hiệu về ứng dụng cung cấp bảng thông tin sẵn có để tìm mối tương quan về phép đo từ xa giữa các chỉ số, dấu vết, bản ghi, dữ liệu giám sát người dùng thực và dữ liệu giám sát tổng hợp cho ứng dụng của bạn cùng các thành phần phụ thuộc, chẳng hạn như Amazon Simple Queue Service (SQS), Amazon S3 hoặc Amazon Bedrock, giúp tăng tốc quá trình khắc phục sự cố gián đoạn ứng dụng. Ví dụ: Khi một nhà phát triển ứng dụng vận hành một ứng dụng LLM (Mô hình ngôn ngữ lớn) có chức năng gọi Bedrock FM, nhà phát triển đó có thể theo dõi xem liệu API hỗ trợ khách hàng có gặp sự cố nào không. Sau đó, họ có thể tìm hiểu kỹ dấu vết tương quan chính xác gây ra lỗi, cùng các bản ghi tương quan, để thiết lập nguyên nhân gốc rễ, chẳng hạn như dữ liệu đầu vào của mô hình không hợp lệ hoặc các mô hình LLM có thời gian phản hồi lâu, dẫn đến trải nghiệm người dùng cuối kém. Khi theo dõi hiệu suất mô hình trong ứng dụng, bạn có thể đánh giá các mô hình khác nhau và chọn mô hình phù hợp nhất với trường hợp sử dụng của mình, từ đó tối ưu hóa chi phí và trải nghiệm khách hàng.
Để tìm hiểu thêm, hãy xem tài liệu để kích hoạt Tín hiệu về ứng dụng của Amazon CloudWatch trên các ứng dụng tương tác với mô hình Amazon Bedrock. Để dùng thử tính năng Tín hiệu về ứng dụng trên ứng dụng mẫu, hãy truy cập Hội thảo One Observability của AWS.