AWS Glue Veri Kalitesi için Veri Kalitesi Tanımlama Dili (DQDL) iyileştirmeleri duyuruluyor
Müşteriler, verilerinin kalitesini ölçmek ve izlemek için AWS Glue'nun bir özelliği olan AWS Glue Veri Kalitesi'ni kullanır. Verilerinin doğru olduğundan emin olmak için DQDL'yi kullanarak veri kalitesi kuralları yazarlar. Müşteriler, filtre koşullarını, dışlama koşullarını, boş değerler için doğrulamaları ve bileşik kuralları içeren karmaşık iş senaryolarına yönelik kurallar oluşturma özelliğine ihtiyaç duyar. Daha önce müşteriler bu veri kalitesi doğrulamalarını CustomSQL kural türünde gerçekleştirmek için SQL yazıyordu. Bugün AWS Glue, DQDL'de veri mühendislerinin yerel kural türlerini kullanarak karmaşık veri kalitesi kurallarını kolayca oluşturmalarına olanak tanıyan yeni iyileştirme setini duyuruyor. DQDL artık şunları destekliyor:
- Müşterilerin kurallarında belirli değerleri hariç tutmasına olanak tanıyan NOT işlemcisi.
- Karmaşık normal ifadeler olmadan eksik değerleri yakalayan kuralları yazmak için NULL, EMPTY ve WHITESPACES_ONLY gibi yeni anahtar kelimeler.
- Müşterilerin karmaşık iş kuralları yazabilmesi için bileşik kurallar. Müşteriler atık bu kuralların değerlendirme sırasını yönetmek için seçenekler belirleyebilir.
- DQDL'de kuralları uygulamadan önce verileri filtrelemeye yönelik WHERE yan tümcesi.
Daha fazla bilgi için DQDL kılavuzuna bakın.
AWS Glue Veri Kalitesi, AWS Glue'nun kullanılabildiği tüm ticari bölgelerde kullanılabilir. Daha fazla bilgi edinmek için AWS Glue ürün sayfasına ve belgelerimize gidin.