Amazon EMR hiện hỗ trợ kiểm tra chất lượng dữ liệu nguyên bản trong các tác vụ Apache Spark
Amazon EMR hiện xác thực chất lượng dữ liệu theo phương thức gốc trong công việc Apache Spark. Các nhóm kỹ thuật dữ liệu có thể phát hiện các sự cố chất lượng nội tuyến trước khi dữ liệu xấu đến các hệ thống hạ nguồn mà không cần xây dựng hoặc duy trì cơ sở hạ tầng xác thực riêng biệt. Chất lượng dữ liệu Amazon EMR, được cung cấp bởi AWS Glue, có sẵn mà không mất thêm phí, đồng thời sử dụng cùng ngôn ngữ quy tắc khai báo (Ngôn ngữ định nghĩa chất lượng dữ liệu) và API như AWS Glue để có trải nghiệm nhất quán trên cả hai công cụ. Khả năng này hoạt động với Apache Iceberg, Apache Hudi và Delta Lake trên EC2, EKS và các chế độ triển khai Phi máy chủ.
Với tính năng này, bạn có thể soạn thảo các quy tắc xác thực trong tập lệnh Spark hoặc quy tắc tham chiếu được lưu trữ trong Danh mục dữ liệu AWS Glue, sau đó áp dụng các quy tắc đó ở bất kỳ giai đoạn nào trong quy trình của bạn, tức là sau khi đọc dữ liệu, trong quá trình chuyển đổi hoặc sau khi xử lý. Với hơn 30 loại quy tắc, bao gồm các quy tắc động so sánh với các lần chạy lịch sử và phát hiện bất thường dựa trên ML để theo dõi sai lệch theo thời gian mà không chỉ định ngưỡng cố định, Chất lượng dữ liệu Amazon EMR giúp bạn linh hoạt khi lựa chọn khung xác thực phù hợp với nhu cầu của mình. Bạn có thể thực hiện các hành động như đánh lỗi quy trình, lọc bản ghi không hợp lệ hoặc định tuyến bản ghi đến vùng cách ly dựa trên kết quả đánh giá chất lượng. Kết quả được tạo ở cấp tập dữ liệu, quy tắc và hàng, để bạn có thể dễ dàng xác định các bản ghi hoặc quy tắc nào đang dẫn đến lỗi chất lượng.
Chất lượng dữ liệu Amazon EMR có sẵn trên thời gian hoạt động AWS cho Apache Spark (emr-spark-8.1.0) ở tất cả các Khu vực AWS thương mại, AWS GovCloud (Hoa Kỳ) và AWS Trung Quốc.
Để bắt đầu, hãy truy cập tài liệu về Chất lượng dữ liệu Amazon EMR và thêm quy tắc DQDL để xác thực chất lượng dữ liệu vào tập lệnh Spark thuộc khối lượng công việc EMR của bạn.