Amazon EMR artık Apache Spark işlerinde yerel veri kalitesi denetimlerini destekliyor
Amazon EMR artık Apache Spark işlerinde veri kalitesini yerel olarak doğruluyor. Veri mühendisliği ekipleri, ayrı doğrulama altyapısı oluşturmadan veya sürdürmeden kötü veriler alt sistemlere ulaşmadan önce kalite sorunlarını satır içinde yakalayabilir. AWS Glue tarafından desteklenen Amazon EMR Veri Kalitesi, ek ücret ödemeden kullanılabilir ve her iki motorda tutarlı bir deneyim için AWS Glue ile aynı bildirimsel kural dilini (Veri Kalitesi Tanım Dili) ve API'leri kullanır ve EC2, EKS ve Sunucusuz dağıtım modlarında Apache Iceberg, Apache Hudi ve Delta Lake ile çalışır.
Bu özellik sayesinde Spark komut dosyalarınızda veya AWS Glue Veri Kataloğu'nda depolanan referans kuralları oluşturup, bunları işlem hattınızın herhangi bir aşamasında (verileri okuduktan sonra, dönüştürme sırasında veya işlemden sonra) uygulayabilirsiniz. Geçmiş çalıştırmalarla karşılaştırılan dinamik kurallar ve sabit eşikler belirtmeden zaman içindeki kaymayı izlemek için ML tabanlı anormallik algılama dahil 30'dan fazla kural türü ile Amazon EMR Veri Kalitesi, ihtiyaçlarınıza uygun doğrulama çerçevesini seçme esnekliği sağlar. Bir işlem hattında başarısız olma, geçersiz kayıtları filtreleme veya kalite değerlendirme sonuçlarına göre karantinaya yönlendirme gibi işlemler yapabilirsiniz. Sonuçlar veri kümesi, kural ve satır düzeyinde üretilir, böylece hangi kayıtların veya kuralların kalite hatalarına neden olduğunu kolayca belirleyebilirsiniz.
Amazon EMR Veri Kalitesi, tüm AWS Ticari, AWS GovCloud (ABD) ve AWS Çin Bölgelerinde Apache Spark için AWS çalışma zamanı (emr-spark-8.1.0) mevcuttur.
Başlamak için Amazon EMR Veri Kalitesi belgelerini ziyaret edin ve EMR iş yüklerinizin Spark komut dosyalarına veri kalitesi doğrulaması için DQDL kuralları ekleyin.