AWS Glue công bố hỗ trợ rộng rãi tính năng Chất lượng dữ liệu Glue mới do máy học hỗ trợ
AWS Glue công bố cung cấp rộng rãi tính năng Chất lượng dữ liệu AWS Glue (Glue DQ) mới, sử dụng các thuật toán phát hiện bất thường được máy học hỗ trợ để phát hiện các vấn đề và bất thường khó thấy về chất lượng dữ liệu. Điều này giúp khách hàng chủ động xác định và khắc phục các vấn đề về chất lượng dữ liệu.
Kỹ sư và nhà phân tích dữ liệu sử dụng các quy tắc trong Glue DQ để đo lường và giám sát dữ liệu. Tuy cách tiếp cận dựa trên quy tắc hiện tại của Glue DQ hoạt động hiệu quả với các mẫu dữ liệu đã biết, nhưng vẫn có thể bỏ sót trường hợp bất thường. Giờ đây, kỹ sư và nhà phân tích dữ liệu có thể sử dụng tính năng Phát hiện bất thường của Glue DQ để dễ dàng phát hiện các vấn đề không lường trước được về chất lượng dữ liệu. Để sử dụng tính năng này, khách hàng có thể ghi quy tắc hoặc trình phân tích, rồi bật tính năng Phát hiện bất thường trong Glue ETL. Glue DQ thu thập số liệu thống kê cho các cột được chỉ định trong quy tắc và trình phân tích, áp dụng thuật toán máy học để phát hiện bất thường và tạo ra dữ liệu quan sát trực quan dễ hiểu nhằm giải thích các vấn đề phát hiện được. Khách hàng có thể sử dụng các quy tắc được đề xuất để thu thập các mẫu bất thường và cung cấp ý kiến phản hồi để điều chỉnh mô hình máy học nhằm phát hiện chính xác hơn.
Để tìm hiểu thêm, hãy đọc blog, xem video giới thiệu hoặc tham khảo tài liệu. Chức năng này có ở Miền Đông Hoa Kỳ (Bắc Virginia), Miền Đông Hoa Kỳ (Ohio), Miền Tây Hoa Kỳ (Oregon), Châu Âu (Ireland), Châu Âu (Stockholm), Châu Âu (Frankfurt), Châu Á Thái Bình Dương (Singapore), Châu Á Thái Bình Dương (Sydney) và Châu Á Thái Bình Dương (Tokyo).