Veri yönetişimi nedir?
Veri yönetişimi, verilerin iş girişimlerini ve operasyonlarını desteklemek için uygun durumda olmasını sağlayan süreçleri ve politikaları içerir. Modern kuruluşlar, operasyonları ve hizmet sunumunu geliştirmek için çeşitli kaynaklardan büyük ölçekte veri toplar. Bununla birlikte, veri odaklı karar verme, yalnızca veriler gerekli kalite ve bütünlük standartlarını karşıladığında etkilidir.
Veri yönetişimi, veri kullanımı için rolleri, sorumlulukları ve standartları belirler. Kimin hangi eylemi yapabileceğini, hangi veriler üzerinde, hangi yöntemleri kullanarak ve hangi durumlarda yapabileceğini özetler. Yapay zeka (AI) ve makine öğrenimi (ML) kullanım örneklerini desteklemek için daha fazla veri kullanılmasıyla, tüm veri kullanımının düzenleyici ve etik gereklilikleri karşılaması kritik hale gelmiştir. Veri yönetişimi, maksimum etkiyi sağlamak için veri güvenliğini taktiksel ve stratejik hedeflerle dengeler.
Veri yönetişimi neden önemlidir?
Veri yönetişimi programları, tarih boyunca veri sızıntısını veya kötüye kullanımını önlemek amacıyla silolardaki verileri kilitlemek için kullanılmıştır. Ancak veri silolarının sonucu, meşru kullanıcıların ihtiyaç duyduklarında verilere erişmek için engelleri aşmaları gerektiğidir. Veriye dayalı yeniliğin gelişimi, kasıtsız olarak engellenir.
2024'te 350 CDO ve CDO'ya eş değer rollerle yapılan bir ankette MIT CDOIQ, Baş Veri Sorumlularının %45'inin veri yönetişimini birinci öncelik olarak belirlediğini buldu. Bu veri liderleri, verileri uygun denetimlerle güvenli ve emniyetli tutarken, gerektiğinde doğru kişilere ve uygulamalara sunmalarına olanak tanıyan bir veri yönetişimi çerçevesi oluşturmak ister.
Erişim ve denetimi dengeler
Yönetişimi yeniliğin sağlayıcısı haline getirmek için iki aracınız vardır: erişim ve kontrol. Başarının anahtarı, ikisi arasında doğru dengeyi bulmaktır ve her kuruluş için denge noktası farklıdır. Çok fazla kontrol uyguladığınızda veriler, silolarda kilitlenir ve kullanıcılar ihtiyaç duyduklarında verilere erişemezler. Bu, yaratıcılığı bastırır ve verileri güncel ve güvenli olmayacak bir halde bırakan gölge BT sistemlerinin oluşturulmasına da yol açar. Buna karşılık, çok fazla erişim sağladığınızda, verilerin uygulamalar ve veri depoları arasında düzenlenmemesi riski vardır, bu da yetkisiz erişim riskini artırır ve veri kalitesini etkiler.
Veri yönetişimi süreçleri, erişimi denetimle dengeleyerek kullanıcıların verilere güven ve itimat duymasını sağlar. Uygun keşif, derleme, koruma ve veri paylaşımını teşvik ederek, verileri korurken yenilikçiliği teşvik ederler.
Analiz yönetişimi nedir?
Analiz yönetişimi, hem analitik uygulamalarda kullanılacak verilerin hem de analiz sistemlerinin kullanımının yönetilmesidir. Analiz yönetişimi ekibiniz, analiz raporu sürüm oluşturması ve belgelemesi gibi yönetişim mekanizmaları oluşturabilir. Her zaman olduğu gibi düzenleme gereksinimlerini takip edin, şirket politikası oluşturun ve kuruluş geneline bütünlük korumaları sağlayın.
Veri yönetişiminin avantajları nelerdir?
Veri yönetişimi, bir kuruluş genelindeki verileri yönetmek için yapılandırılmış bir çerçeve sunar. Temel avantajlardan bazıları aşağıda belirtilmiştir.
Veri kalitesini artırır
Veri yönetişimi; veri doğruluğu, eksiksizliği ve tutarlılığı için standartlar oluşturur. Tüm paydaşlar tarafından güvenilen alakalı, güncel, yorumlanması kolay veriler elde edersiniz. Bu yüksek kaliteli veriler hataları azaltır, ayrıca stratejik ve operasyonel karar verme için doğru ve zamanında öngörüler üretir.
Veri odaklı bir kültürü destekler
Etkili bir veri yönetişimi stratejisi, verilere değer veren bir kültürü teşvik eder ve tüm çalışanları işlerinde verileri kullanmaya ve anlamaya yönlendirir. İş topluluğu katılımını motive eder ve katılımcı iş alanları arasında veri entegrasyonunu artırır. Veri mühendisleri ve işletme kullanıcıları arasındaki uyum, kuruluşun genel veri okuryazarlığını ve analiz yeteneklerini artırır.
Operasyonel verimliliği artırır
Veri yönetişimi; doğru işletim modelini, özellikle de gerekli merkezileştirme ve merkeziyetsizleştirme düzeyini belirlemeye yardımcı olur. İşlemleri kolaylaştıran tutarlı veri yönetişimi uygulamaları oluşturabilirsiniz. Açıkça tanımlanmış veri sahipliği ve erişim hakları, departmanlar arasında iş birliğini kolaylaştırarak herkesin aynı, güvenilir veri kaynaklarıyla çalışmasını sağlar. Tekrarlamayı azaltmak, operasyonel maliyetleri düşürmek ve üretkenliği artırmak için ekipler arasındaki çalışmaları uyumlu hale getirin.
Mevzuata uygunluğu destekler
Veri yönetişimi çerçeveleri, veri uygulamalarının yasal düzenlemeler ve sektör düzenlemeleriyle uyumlu olmasını sağlayarak risk yönetimine proaktif bir yaklaşım benimser. Verilere kimlerin erişebileceği veya verileri kimlerin değiştirebileceği konusunda merkezi olarak tanımlanmış politikalarla yetkisiz erişimi önleyebilirsiniz. Veri yönetişimi araçları, hassas verileri korumak için gizlilik düzenlemelerine uygunluğu destekler.
Makine öğrenimi (ML) yönetişimi nedir?
ML yönetişimi, aynı veri yönetişimi uygulamalarının çoğunu ML için uygular. Veri kalitesi ve veri entegrasyonu, model eğitimi ve üretim dağıtımı için gerekli verileri sağlamalıdır (özellik depoları bunun önemli bir yönüdür). Sorumlu yapay zeka (AI), model oluşturmak için hassas verilerin kullanılmasına özel olarak dikkat ediyor. Ek ML yönetişimi özellikleri arasında insanların model oluşturma, dağıtım ve izlemeye katılmalarını sağlamak; model eğitiminin, sürüm oluşturmanın, desteklenen kullanım durumlarının ve rehber etik model kullanımının belgelenmesi ve doğruluk, sürüklenme, aşırı uyum ve yetersiz uyum için üretimdeki modelin izlenmesi yer alır.
Üretici Yapay Zeka, eğitim ve çıkarım için temel modellerin uyarlanmasını desteklemek üzere verilerin kalitesi ve bütünlüğü, Üretici Yapay Zeka toksikliği ve yanlılığının yönetişimi ve altyapı modeli (FM) işlemleri (FMOp'ler) gibi ek veri yönetişimi özellikleri gerektirir.
AI/ML'yi aynı veri yönetişimi programı ile destekleyebilirsiniz. Verileri AI/ML modellerinin eğitim ve üretim çıkarımı için kullanabileceği bir biçime dönüştürmek üzere veri hazırlama gereklidir ancak en etkili veri hazırlama, yapmanız gerekmeyendir. Veri bilimcileri, her kullanım durumu için veri hazırlamaya çok fazla zaman harcıyor; veri yönetişimi ekibiniz, bu tekdüze ağır işleri hafifletmenize yardımcı olabilir. Ek olarak veri yönetişimi, AI ve ML kullanım örneklerinde kullanılacak biçimli özellik depolarının oluşturulmasını yönetebilir.
Son olarak, ekibinizin temel modelleri eğitmek üzere hassas verilerin kullanım risklerini azaltabilmesi için hassas verilerin uygun şekilde korunması gerekir.
Genel olarak analizde olduğu gibi oluşturduğunuz veya özelleştirdiğiniz AI/ML modellerinin kullanımını yönetmeniz gerekir. İdeal olarak bu, analiz yönetişimi ile yakından ilişkili olmalıdır çünkü bu işlev, çeşitli iş alanlarını nasıl destekleyeceğini bilir.
Veri yönetişimini kim oluşturur?
Sağlam bir veri yönetişimi stratejisi oluşturmak, işletme açısından birçok işlev gerektirir.
Yönetici sponsorlar
Kuruluş genelinde veri yönetişimi ilkelerini, standartlarını ve politikalarını belirler ve oluştururlar. Ayrıca kurumsal yol haritasındaki birçok iş girişimini anlar ve veri yönetişimi faaliyetlerini yönlendirmek için öncelikleri belirlemeye yardımcı olabilirler.
Veri sorumluları
Bu kişiler işletmeye bağlıdır ve projelerin günlük ayrıntılarıyla uğraşırlar. Hedeflenen iş girişimlerinde zorluklara neden olabilecek veri sorunlarını anlamaya yardımcı olurlar. Ayrıca projelerinde veri yönetişimi sürecini uygular ve verilerin uygun şekilde yönetilmesini sağlarlar. Çalışan ve müşteri uygunluğunu izler ve herhangi bir sorun ortaya çıkarsa üstlerine bildirirler.
Veri sahipleri
Verilere kimlerin ve hangi koşullar altında erişmesi gerektiği, düzenlemelerin nasıl yorumlanacağı ve uygulanacağı, ayrıca anahtar terim tanımları dahil olmak üzere verilere ilişkin politikalar oluştururlar. Ayrıca veri kümelerinizin teknik yönetimi ve erişim kontrollerinden sorumludurlar.
Veri mühendisleri
BT ekibinde yer alırlar ve verileri güvence altına almak, çeşitli kaynaklardan gelen verileri entegre etmek, veri kalitesini yönetmek ve doğru verileri bulmak için en iyi veri yönetişimi araçlarını seçer ve uygularlar.
Veri yönetişimi stilleri nelerdir?
Veri yönetişimi programınız, merkezileşme ve merkeziyetsizleştirmeyi dengelemelidir (self servis dahil). Kuruluşunuz genelinde, iş gereksinimlerine bağlı olarak merkezi, federe ve merkeziyetsiz yönetişimin bir karışımına sahip olacaksınız. Etki alanları arasında tutarlılığı korurken (verileri birbirine bağlama becerisi gibi) etki alanı ekiplerini mümkün olduğunca yetkilendirmelisiniz.
Merkezi veri yönetişimi
Merkezi kuruluşlar nihai olarak görev beyanlarından, politikalardan, araç tercihlerinden ve daha fazlasından sorumludur. Bununla birlikte, günlük eylemler sıklıkla iş alanlarına (LOB) sürüklenir.
Federe veri yönetişimi
Federe veri yönetişimi, bireysel iş birimlerini veya girişimlerini ihtiyaçlarına en uygun şekilde çalışmaları için yetkilendirir. Bununla birlikte, daha küçük bir merkezi ekip, örneğin kurumsal çaptaki veri kalitesi araçları da dahil olmak üzere sık tekrarlanan sorunları çözmeye odaklanır.
Self servis veya merkezi olmayan veri yönetişimi
Her departman, merkezi politikalara uyum sağlarken belirli bir proje için ihtiyaç duyduğu şeyi yapar. Her bir proje, diğer projelerdeki kullanılmaya uygun her araç veya süreci kullanır. Veri ağı (merkeziyetsiz) gibi konuların popülaritesi arttıkça self servis veri yönetişiminin popülaritesi de artmaktadır.
Veri yönetişimi nasıl çalışır?
Çeşitli özellikler için veri yönetişimi; insan, süreç ve teknoloji çözümleri gerektirir.
Veri yayılımını sınırlamak için verileri uygun ölçekte düzenleyin
Verilerinizi uygun ölçekte derlemek; veri tabanları, veri gölleri ve veri ambarları dahil olmak üzere en değerli veri kaynaklarınızı tanımlamak ve yönetmek demektir. Kritik veri varlıklarının çoğalmasını ve dönüşümünü sınırlayabilirsiniz. Verilerin düzenlenmesi aynı zamanda kullanıcıların veriye dayalı kararlara ve veri besleme uygulamalarına güvenebilmesi için doğru verilerin hatasız, yeni ve hassas bilgilerden arınmış olmasını sağlamak demektir.
Özellikler: Veri kalitesi yönetimi, veri entegrasyonu ve ana veri yönetimi
Verilerinizi bağlam içinde keşfedin ve anlayın.
Verilerinizi bağlam içinde anlamak, iş değerini artırmak için verileri güvenle kullanabilmek üzere tüm kullanıcıların verilerinin anlamını keşfedebilmeleri ve anlayabilmeleri anlamına gelir. Merkezi bir veri kataloğu ile veriler kolayca bulunabilir, erişim talep edilebilir ve iş kararları almak için veriler kullanılabilir.
Özellikler: veri profili oluşturma, veri kökeni ve veri katalogları
Verilerinizi denetim ve güven çerçevesinde koruyun ve güvenli bir şekilde paylaşın.
Verilerinizi korumak; veri gizliliği, güvenliği ve erişimi arasında doğru dengeyi sağlamak demektir. Hem işletme hem de mühendislik kullanıcıları için sezgisel araçlarla veri erişimini kurumsal sınırların ötesinde yönetmek çok önemlidir.
Özellikler: Veri yaşam döngüsü, veri uyumluluğu ve veri güvenliği
İş riskini azaltın ve mevzuata uygunluğu iyileştirin.
Riski azaltmak, bu verilerin nasıl ve kimin tarafından kullanıldığını anlamak demektir. AWS hizmetleri, veri güvenliğini ve mevzuata uygunluğu sağlamaya yardımcı olmak için ML modelleri üzerinden erişim dahil olmak üzere veri erişimini izlemenize ve denetlemenize yardımcı olur. Makine öğrenimi ayrıca sorumlu kullanımı ve basitleştirilmiş raporlamayı sağlamak için denetim şeffaflığı gerektirir.
Özellikler: veriler ve ML için kullanım denetimi
Veri yönetişimi ekiplerinizi nasıl daha iyi hale getirebilirsiniz?
Etkili bir veri yönetişimi programının anahtarı, onu halihazırda finanse edilmiş iş girişimlerine eklemektir. Ekibinizin bu girişimleri desteklemek için hangi veri etki alanlarının, kaynakların ve öğelerin gerekli olduğunu anladığından emin olun.
- Hedeflenen iş girişimlerine destek gösteren bir veri yönetişimi yol haritası oluşturun. Ardından, seçilen iş girişimleri arasındaki veri örtüşmesini belirlemeye başlayın.
- Tazelik ve gizlilik gereksinimleri dahil olmak üzere verilerin desteklemesi ve beslemesi gereken uygulamaları ve iş zekası kullanım durumlarını belirleyin.
- Seçilen her iş girişimi için amaca uygun verilerin nasıl göründüğünü kavrayın.
- Veri planlama ve uygulamanın, kuruluşun işleyişinin doğal bir parçası haline gelmesi için veri yönetişimi programını kurumsal işletim modeline yerleştirerek sürdürün ve genişletin.
- Analiz topluluğunu self servis ve tutarlılık için düzenleyin.
- Veri yönetişimi ve ML yönetişimi ile yapay zekayı (AI) ve makine öğrenimini (ML) destekleyin. Aynı veri yönetişimi programını kullanın ancak kapsamına özellik depoları ve ML modellerini dahil edin.
Veri yönetişimi en iyi uygulamaları nelerdir?
Etkili bir veri yönetişiminin anahtarı, onu halihazırda finanse edilmiş iş girişimlerine eklemektir. Ekibinizin bu girişimleri desteklemek için hangi veri etki alanlarının, kaynakların ve öğelerin gerekli olduğunu anladığından emin olun.
- Hedeflenen iş girişimlerine destek gösteren bir veri yönetişimi yol haritası oluşturun. Ardından, seçilen iş girişimleri arasındaki veri örtüşmesini belirlemeye başlayın.
- Tazelik ve gizlilik gereksinimleri dahil olmak üzere verilerin desteklemesi ve beslemesi gereken uygulamaları ve iş zekası kullanım durumlarını belirleyin.
- Seçilen her iş girişimi için amaca uygun verilerin nasıl göründüğünü kavrayın.
- Veri planlama ve uygulamanın, kuruluşun işleyişinin doğal bir parçası haline gelmesi için yönetişimi kurumsal işletim modeline yerleştirerek sürdürün ve genişletin.
- Analiz topluluğunu self servis ve tutarlılık için düzenleyin.
- Yapay zeka (AI) ve makine öğrenimini (ML) veri yönetişimi ve ML yönetişimi ile destekleyin. Aynı veri yönetişimi programını kullanın ancak kapsamına özellik depoları ve ML modellerini dahil edin.
Veri yönetişimi; analizi, makine öğrenimini ve yapay zekayı nasıl etkiler?
Veri yönetişimi, veri ağırlıklı kullanım örneklerinde kilit bir rol oynar.
Analiz yönetişimi
Analiz yönetişimi, hem analiz uygulamalarında kullanılacak verilerin hem de analiz sistemlerinin kullanımının yönetilmesidir. Analiz yönetişimi ekibiniz, analiz raporu sürüm oluşturması ve belgelemesi gibi yönetişim mekanizmaları oluşturabilir. Her zaman olduğu gibi düzenleme gereksinimlerini takip edin, şirket politikası oluşturun ve kuruluş geneline bütünlük korumaları sağlayın.
Yapay zeka yönetişimi
Yapay zeka yönetişimi, aynı veri yönetişimi uygulamalarının çoğunu AI/ML kullanım örneklerine uygular. Veri kalitesi ve entegrasyonu, model eğitimi ve üretim dağıtımı için gerekli verileri sağlamalıdır (özellik depoları bunun önemli bir yönüdür). Sorumlu yapay zeka (AI), model oluşturmak için hassas verilerin kullanılmasına özel olarak dikkat ediyor. Ek yapay zeka yönetişimi özellikleri arasında insanların model oluşturma, dağıtım ve izlemeye katılmalarını sağlamak; model eğitiminin, sürüm oluşturmanın, desteklenen kullanım örneklerinin ve rehber etik model kullanımının belgelenmesi ve doğruluk, sürüklenme, aşırı uyum ve yetersiz uyum için üretimdeki modelin izlenmesi yer alır.
Üretici Yapay Zeka, eğitim ve çıkarım için altyapı modellerinin uyarlanmasını desteklemek üzere veri kalitesi ve bütünlüğü, Üretici Yapay Zeka toksikliği ve yanlılığının yönetişimi, ayrıca altyapı modeli (FM) operasyonları (FMOp'ler) gibi ek veri yönetişimi özellikleri gerektirir.
AI/ML'yi aynı veri yönetişimi programı ile destekleyebilirsiniz. Verileri AI/ML modellerinin eğitim ve üretim çıkarımı için kullanabileceği bir biçime dönüştürmek üzere veri hazırlama gereklidir ancak en etkili veri hazırlama, yapmanıza gerek olmayan hazırlıktır. Veri bilimcileri, her kullanım durumu için veri hazırlamaya çok fazla zaman harcıyor; veri yönetişimi ekibiniz, bu tekdüze ağır işleri hafifletmenize yardımcı olabilir. Ek olarak veri yönetişimi, AI ve ML kullanım örnekleri için şekillendirilmiş özellik depolarının oluşturulmasını denetleyebilir.
Son olarak, hassas verilerin uygun şekilde korunması gerekir, böylece ekibiniz altyapı modellerini eğitmek için hassas verileri kullanma risklerini azaltabilir.
Analizde olduğu gibi oluşturduğunuz veya özelleştirdiğiniz AI/ML modellerinin kullanımını yönetmeniz gerekir. İdeal olarak bu, analiz yönetişimi ile yakından ilişkili olmalıdır çünkü bu işlev, çeşitli iş alanlarını nasıl destekleyeceğini bilir.
Veri yönetişiminin temel zorlukları nelerdir?
Veri yönetişimi için en yaygın stratejik zorluk, veri yönetişiminin değerini doğrudan önermek yerine programınızı iş girişimleriyle uyumlu hale getirmektir. Örneğin, son kullanıcıların aradıkları verileri bulmalarını kolaylaştırmanın veya veri kalitesi sorunlarını çözmenin değerini önerebilirsiniz. Ancak bunlar, bir problem arayışındaki çözümlerdir. Bu yolu seçerseniz desteklemeniz gereken iş girişimleriyle finansman ve sponsorluk için rekabet edersiniz. Bunun yerine, veri yönetişimini iş girişimlerini desteklemek üzere konumlandırın. Her büyük iş girişimi, veri gerektirir. Veri yönetişimi, iş girişiminin başarısını desteklemek için verilerin uygun durumda olmasını sağlamalıdır. Veri yönetişiminin bu girişimleri nasıl desteklediğine ilişkin raporlama ve denetim uygulamalarını gözden kaçırmayın.
Bir diğer yaygın stratejik zorluk, veri yönetişimini çok dar bir şekilde uygulamaktan kaçınmaktır. Fazla dar bir tanım, iş alanlarına daha geniş olarak bakmadan programı bireysel iş alanlarıyla veya kullanım örnekleriyle uyumlu hale getirmek anlamına gelebilir. Dar bir tanım, veri yönetişiminin yalnızca bir veya iki özellik ile tanımlanması anlamına da gelebilir. Örneğin, veri kataloğuna sahip olmak bir veri yönetişimi programı oluşturmaz.
Veri yönetişimine ilişkin AWS teklifleri nelerdir?
AWS'deki uçtan uca veri yönetişimi sayesinde kuruluşlar, verilerinin nerede yer alacağı, bunlara kimlerin erişebileceği ve veri iş akışının her adımında bunlarla neler yapılabileceği üzerinde etkiye sahiptir. AWS ile veri yönetişimi, doğru kişilerin ve uygulamaların ihtiyaç duyduklarında doğru verilere emin ve güvenli bir şekilde ulaşmasını, erişmesini ve bunları paylaşmasını kolaylaştırarak kuruluşların veriye dayalı kararları hızlandırmasına yardımcı olur. Verilerin çoğalmasını sınırlamak için veri entegrasyonunu ve veri kalitesini otomatikleştirerek verileri düzenleyebilirsiniz. Veri okur yazarlığını artıran merkezi kataloglarla verilerinizi keşfedebilir ve kavrayabilirsiniz. Verilerinizi, güvenle paylaşmanıza olanak sağlayan kesin izinlerle koruyabilirsiniz.
Veri erişimini izleyerek ve denetleyerek riski azaltabilir ve mevzuata uygunluğu artırabilirsiniz.
- Amazon DataZone: Entegre yönetişim ile kuruluş genelinde verilerin kilidini açın.
- AWS Glue: Herhangi bir ölçekte tüm verilerinizi keşfedin, hazırlayın ve entegre edin.
- AWS Lake Formation: Günler içinde veri göllerini oluşturun, yönetin ve bunların güvenliğini sağlayın.
- Amazon QuickSight: Çok büyük ölçekte birleşik iş zekası.
- Amazon SageMaker: Tam olarak yönetilen altyapı, araçlar ve iş akışlarıyla kullanım örnekleri için makine öğrenimi modelleri oluşturun, eğitin ve dağıtın.
- ML yönetişim web sayfası
- Amazon Bedrock: Altyapı modelleriyle (FM'ler) üretici yapay zeka uygulamaları oluşturun ve ölçeklendirin.
- Amazon Macie: Hassas verileri geniş ölçekte.keşfedin ve koruyun
- Amazon Simple Storage Service (Amazon s3) erişim noktaları: Her yerden herhangi miktarda veri almak için oluşturulmuş nesne depolama.
- AWS Veri Değişimi: Bulutta üçüncü taraf verilerine kolayca ulaşın, abone olun ve bunları kullanın.
- AWS Clean Rooms: Ham verileri paylaşmadan ortaklarınızla iş birliği yapmak için dakikalar içinde temiz odalar oluşturun.
Hemen ücretsiz bir hesap oluşturarak AWS'de Veri Yönetişimi'ni kullanmaya başlayın.