AWS Glue Veri Kalitesi

Veri gölleri ve işlem hatlarınız genelinde yüksek kalitede veri sunun
Beklemede Glue Veri Kalitesi'ni kullanmaya başlayın
Veri işlem hatları için Glue Veri Kalitesi'ni kullanmaya başlayın

Veri gölleri, uygun gözetim olmadığında veri bataklıkları haline gelebilir. Veri kalitesi denetimlerini ayarlamak zaman alıcı, sıkıcı ve hata davet eden bir süreçtir. Veri işlem hatlarını izlemek ve veri kalitesi bozulduğunda veri tüketicilerini uyarmak için manuel olarak veri kalitesi kuralları oluşturmalı ve kod yazmalısınız. AWS Glue Veri Kalitesi, bu manuel kalite çalışması süresini gün mertebesinden saat mertebesine indirir. İstatistikleri otomatik olarak hesaplar, kalite kuralları önerip izler ve sorun tespit ettiğinde sizi uyarır. Gizli ve bulunması zor sorunlar için Glue Veri Kalitesi, ML algoritmalarını kullanır. Kural tabanlı yaklaşım ile ML yaklaşımının güçleri birleştiğinde, sunucusuz, ölçeklenebilir ve açık çözümle de birlikte, güvenli iş kararları verilmesi için yüksek kaliteli veriler sunmanız mümkün olur. 

AWS Glue Veri Kalitesi'ne genel bakış (1:27)

AWS Glue Veri Kalitesi'nin Özellikleri

AWS Glue sunucusuz olduğu için altyapıyı yönetmek zorunda kalmadan ölçeklendirebilirsiniz. Her türlü veri boyutu için ölçeklenir ve çevikliği artırıp maliyetleri iyileştirmek için kullandıkça öde faturalandırma özelliğine sahiptir. AWS Glue Veri Kalitesi, petabaytlarca veri kümelerini yönetmek için Amazon tarafından oluşturulmuş açık kaynaklı bir çerçeve olan Deequ'yu kullanır. AWS Glue Veri Kalitesi, açık kaynak kullanılarak oluşturulduğu için bağlı kalmadan esneklik ve taşınabilirlik sağlar.
AWS Glue Veri Kalitesi veri kümeleriniz için istatistikleri otomatik olarak işleme koyar. Bu istatistikleri güncelliği, doğruluğu, bütünlüğü ve hatta bulunması zor sorunları denetleyen bir dizi kalite kuralı önermek için kullanır. Gerektiğinde önerilen kuralları ayarlayabilir, kuralları atabilir veya yeni kurallar ekleyebilirsiniz. AWS Glue Veri Kalitesi, kalite sorunları tespit ederse konu hakkında harekete geçebilmeniz için sizi de uyarır.
AWS Glue Veri Kalitesi akıllıdır. ML algoritmalarını kullanarak zaman içinde toplanan veri istatistiklerindeki kalıpları öğrenir. Anormallikleri ve olağan dışı veri kalıplarını algılayarak kullanıcıları uyarır. Ayrıca aşamalı olarak veri kalitesi kuralları oluşturabilmeniz için bu belirli kalıpları izleme amaçlı otomatik kurallar oluşturur.
Verileriniz farklı havuzlarda bulunur ve bir havuzdan diğerine taşınır. Veri kalitesinin hem girdikten sonra hem de aktarım halindeyken izlenmesi önemlidir. AWS Glue Veri Kalitesi kuralları, veri kümelerinizde ve veri göllerinizde bekleyen veriler ile verilerin hareket halinde olduğu tüm veri işlem hatlarına uygulanabilir. Birden fazla veri kümesine kurallar uygulayabilirsiniz. AWS Glue Stüdyosu üzerinde oluşturulan veri işlem hatlarında tüm işlem hattı kalitesini değerlendirmek üzere bir dönüşüm uygulayabilirsiniz. Veriler zaten bellekte olduğundan bunun maliyeti de çok düşük olur. Kalite bozulursa işlem hatlarını durdurmak için kurallar da tanımlayarak kötü verilerin veri göllerinize ulaşmasını engelleyebilirsiniz.
Verilerinizi doğrulamak ve sorunlara neden olan belirli verileri tanımlamak için kullanıma hazır 25'ten fazla AWS Glue Veri Kalitesi kuralını kullanın. Farklı veri kaynaklarındaki farklı veri kümelerini kullanıma hazır kurallarla dakikalar içinde karşılaştıran veri kalitesi denetimlerini uygulayın. Glue ETL'yi kullanarak bu sorunları kolayca düzeltebilir ve yüksek kaliteli verileri veri depolarınıza alabilirsiniz.