Chất lượng dữ liệu AWS Glue hiện đã hỗ trợ truy vấn tiền xử lý
Hôm nay, AWS công bố việc cung cấp rộng rãi tính năng truy vấn tiền xử lý cho Chất lượng dữ liệu AWS Glue, tạo điều kiện cho bạn chuyển đổi dữ liệu của mình trước khi tiến hành kiểm tra chất lượng dữ liệu thông qua API Danh mục dữ liệu AWS Glue. Tính năng này cho phép bạn tạo cột từ dữ liệu, lọc dữ liệu theo điều kiện cụ thể, thực hiện phép tính và xác thực mối quan hệ giữa
các cột trực tiếp trong quá trình đánh giá chất lượng dữ liệu.
Truy vấn tiền xử lý đem đến sự linh hoạt nâng cao cho các tình huống chất lượng dữ liệu phức tạp đòi hỏi phải chuyển đổi dữ liệu trước khi xác thực. Bạn có thể tạo chỉ số từ dữ liệu như tính tổng phí từ cột thuế và vận chuyển, giới hạn số cột được xem xét cho đề xuất chất lượng dữ liệu hoặc lọc tập dữ liệu để tập trung các bài kiểm tra chất lượng vào các tập hợp con dữ liệu cụ thể. Khả năng này loại bỏ nhu cầu áp dụng bước tiền xử lý dữ liệu riêng biệt, giúp tinh giản quy trình làm việc chất lượng dữ liệu của bạn.
Truy vấn xử lý tiền xử lý Chất lượng dữ liệu AWS Glue được cung cấp thông qua API Danh mục dữ liệu AWS Glue - start-data-quality-rule-recommendation-run và start-data-quality-ruleset-evaluation-run, ở tất cả các Khu vực AWS thương mại có hỗ trợ Chất lượng dữ liệu AWS Glue. Để tìm hiểu thêm về truy vấn tiền xử lý, hãy xem tài liệu về Chất lượng dữ liệu Glue.