Chất lượng dữ liệu AWS Glue hiện hỗ trợ phát hiện bất thường và ghi kết quả vào Danh mục dữ liệu AWS Glue
Chất lượng dữ liệu AWS Glue hiện hỗ trợ phát hiện bất thường cho các đánh giá chất lượng dữ liệu dựa trên Danh mục và khả năng ghi kết quả đánh giá vào bảng Danh mục dữ liệu AWS Glue (GDC). Các khả năng này hoạt động trên cả công việc ETL và đánh giá Danh mục, mang lại cho bạn trải nghiệm chất lượng dữ liệu nhất quán bất kể loại quy trình công việc.
Với hỗ trợ phát hiện bất thường cho GDC, bạn có thể xác định những thay đổi ngoài dự kiến trong thống kê dữ liệu như giảm đột ngột các giá trị riêng biệt hoặc tăng đột biến số hàng trong bảng GDC của bạn bằng cách sử dụng dự báo chuỗi thời gian hỗ trợ ML mà không cần viết quy tắc với ngưỡng rõ ràng. Điều này đặc biệt có giá trị đối với các kỹ sư dữ liệu giám sát hàng trăm bảng trong GDC, những người cần tự động hiển thị sự cố.
Với lưu trữ kết quả trong GDC, kết quả quy tắc Chất lượng dữ liệu, chỉ số cấu hình và dự đoán bất thường (với giới hạn độ tin cậy) được ghi lại vào bảng GDC, qua đó tạo bản ghi có thể truy vấn về tất cả các đánh giá chất lượng. Cho dù đánh giá chạy trong một công việc ETL hay trực tiếp trên bảng Danh mục, bạn có thể truy vấn kết quả bất cứ lúc nào bằng cách sử dụng SQL tiêu chuẩn.
Khả năng phát hiện bất thường về Chất lượng dữ liệu AWS Glue và lưu trữ kết quả Danh mục có sẵn ở tất cả các khu vực AWS thương mại và khu vực AWS GovCloud (Hoa Kỳ).
Để bắt đầu, hãy truy cập tài liệu về Chất lượng dữ liệu AWS Glue.