Công bố các điểm cải tiến về Ngôn ngữ định nghĩa chất lượng dữ liệu (DQDL) cho Chất lượng Dữ liệu AWS Glue
Khách hàng sử dụng Chất lượng dữ liệu AWS Glue, một tính năng của AWS Glue, để đo lường và theo dõi chất lượng dữ liệu. Họ tạo ra các quy tắc chất lượng dữ liệu bằng DQDL để bảo đảm dữ liệu chính xác. Khách hàng cần có khả năng tạo quy tắc cho các tình huống công việc phức tạp, bao gồm các điều kiện lọc, điều kiện loại trừ, thao tác xác thực giá trị trống và quy tắc tổng hợp. Trước đây, khách hàng tạo ra SQL để thực hiện các thao tác xác thực chất lượng dữ liệu này trong loại quy tắc CustomSQL. Hôm nay, AWS Glue công bố một bộ đặc điểm cải tiến mới cho DQDL, giúp các kỹ sư dữ liệu dễ dàng tạo ra quy tắc chất lượng dữ liệu phức tạp bằng các loại quy tắc gốc. DQDL hiện hỗ trợ
- Toán tử NOT, cho phép khách hàng loại trừ các giá trị nhất định trong quy tắc của mình.
- Các từ khóa mới, như: NULL, EMPTY và WHITESPACES_ONLY để tạo ra quy tắc ghi lại các giá trị bị thiếu mà không cần đến biểu thức chính quy phức tạp.
- Quy tắc tổng hợp để khách hàng tạo ra các quy tắc công việc phức tạp. Bây giờ, họ có thể chỉ định tùy chọn để quản lý thứ tự đánh giá các quy tắc này.
- Mệnh đề WHERE trong DQDL để lọc dữ liệu trước khi áp dụng quy tắc.
Tham khảo hướng dẫn về DQDL để biết thêm thông tin.
Tính năng Chất lượng dữ liệu AWS Glue được cung cấp ở tất cả các khu vực thương mại có AWS Glue. Để tìm hiểu thêm, hãy truy cập trang sản phẩm AWS Glue và tài liệu của chúng tôi.