Veri mimarisi nedir?
Veri mimarisi, bir kuruluşun veri toplama, yönetim ve kullanımını tanımlayan ve yöneten kapsayıcı çerçevedir. Günümüzde kuruluşlar, çeşitli veri kaynaklarından gelen büyük veri hacimlerine ve analiz, makine öğrenimi, yapay zeka ve diğer uygulamalar için bu verilere erişmek isteyen farklı ekiplere sahiptir. Modern veri mimarisi, veri güvenliği ve kalitesini sağlarken verileri erişilebilir ve kullanılabilir hale getiren uyumlu bir sistem sunar. Kuruluşların verileri departmanlar arasında kolayca taşımasına ve mevzuata uygunluğu tam olarak desteklerken gerçek zamanlı erişim de dahil olmak üzere ihtiyaç duyulduğunda erişilebilir olmasını sağlamasına olanak tanıyan politikaları, veri modellerini, süreçleri ve teknolojileri tanımlar.
Veri mimarisinin bileşenleri nelerdir?
Ana veri mimarisi bileşenleri aşağıda verilmiştir.
Veri kaynakları
Veri kaynakları müşteriye yönelik uygulamalar, izleme ve telemetri sistemleri, IoT cihazları ve akıllı sensörler, iş operasyonlarını destekleyen uygulamalar, dahili bilgi depoları, veri arşivleri, üçüncü taraf veri depoları ve daha fazlası olabilir. Hem yapılandırılmış hem de yapılandırılmamış veriler kuruluşa farklı hızlarda, hacimlerde ve sıklıklarda girer.
Veritabanları
Amaca yönelik veri tabanı sistemleri modern uygulamaları ve farklı özelliklerini destekler. İlişkisel veya ilişkisel olmayan türde olabilirler. Bunlar bazıları verileri yapılandırılmış tablolar olarak depolayan ve diğerleri yapılandırılmamış veri türlerini belgeler veya anahtar-değer çiftleri olarak depolayan türde olabilir. Veri tabanları genellikle dar bir kullanım örneğiyle ilgili etki alanına özgü verileri depolar. Ancak veriler mevcut sistemin ötesinde kullanılabilir. Örneğin, müşteriye yönelik bir uygulamadan gelen veriler pazarlama analizi veya planlaması için kullanılabilir ve işleme için veri tabanından çıkarılması gerekir. Benzer şekilde, başka yerlerden işlenen verilerin bir analiz veya makine öğrenimi (ML) uygulamasının veri tabanına yeniden yüklenmesi gerekir.
Veri gölleri
Veri gölü, uygun ölçekte ham veri depolama için merkezi bir depodur. Veri mimarisi, verilerin farklı veri tabanlarından veri gölüne nasıl taşındığını ve kullanım için gerektiğinde farklı veri tabanlarına nasıl geri döndürüldüğünü açıklar. Veri gölü, verileri yerel veya açık bir biçimde depolayarak kullanımdan önce biçimlendirmeye ve temizlemeye olanak sağlar. Veri entegrasyonunu destekler ve bir kuruluş içindeki veri silolarını parçalar.
Veri analizi
Veri analizi bileşeni, gerçek zamanlı uyarı ve raporlama için geleneksel veri ambarları, toplu raporlama ve veri akışı teknolojisini içerir. Tek seferlik sorgulama ve gelişmiş analiz kullanım örnekleri için kullanılabilirler. Veri mimarisi erişimi açtığından ve herkesin kuruluşun veri varlıklarını kullanması için daha fazla özgürlük sağladığından analiz, veri siloları tarafından kısıtlanmaz.
Yapay zeka
Makine öğrenimi ve yapay zeka, kuruluşların gelecekteki senaryoları tahmin etmesine ve uygulamalara zeka katmasına yardımcı olacak modern bir veri stratejisi için kritik öneme sahiptir. Veri bilimciler göllerdeki verileri deneme yürütmek, zeka kullanım örneklerini belirlemek ve yeni modelleri eğitmek için kullanır. Yapay zeka modelleri, eğitimden sonra bile ilgili ve faydalı çıktılar üretmek için yeni verilere sürekli erişim gerektirir. Modern veri mimarileri, yapay zeka model eğitimini ve çıkarımını destekleyen tüm teknoloji ve altyapıyı içerir.
Veri yönetişimi
Veri yönetişimi, veri kullanımı için rolleri, sorumlulukları ve standartları belirler. Kimin hangi eylemi yapabileceğini, hangi veriler üzerinde, hangi yöntemleri kullanarak ve hangi durumlarda yapabileceğini özetler. Hem veri kalitesi hem de veri güvenliği yönetimini içerir. Veri mimarları, mevzuata sürekli uygunluk için veri kullanımını denetleyecek ve takip edecek süreçleri tanımlar.
Meta veri yönetimi, veri yönetişiminin ayrılmaz bir parçasıdır. Veri mimarisi, meta verileri depolamak ve paylaşmak için araçlar ve politikalar içerir. Farklı sistemlerin meta verileri depolayıp keşfedebileceği ve veri varlıklarını daha fazla sorgulamak ve işlemek için kullanabileceği merkezi bir meta veri deposu sağlamaya yönelik mekanizmaları genel hatlarıyla belirtir.
Veri mimarisi nasıl uygulanır?
Modern veri mimarinizi katmanlar halinde uygulamak en iyi uygulamadır. Katmanlar, süreçleri ve teknolojileri farklı hedeflere göre gruplandırır. Uygulama ayrıntıları esnektir ancak katmanlar teknoloji seçimlerine ve bunların nasıl entegre edilmesi gerektiğine rehberlik eder.
Hazırlama katmanı
Hazırlama katmanı, mimari içindeki veriler için giriş noktasıdır. Yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış biçimler dahil olmak üzere çeşitli kaynaklardan ham veri alımını işler. Bu katmanın mümkün olduğunca esnek olmasını istersiniz.
Şema (veri biçimleri ve türleri) bu katmanda katı bir şekilde uygulanırsa aşağı akış kullanım örnekleri sınırlandırılır. Örneğin, tüm tarih değerlerini ay, yıl biçiminde zorlamak, gg/aa/yyyy biçimlendirmesi gerektiren gelecekteki kullanım örneklerini sınırlar. Aynı zamanda biraz tutarlılık da istersiniz. Örneğin, telefon numaraları dizeler halinde saklanır ve bu şekilde kullanılırsa ancak başka bir veri kaynağı aynı verileri sayısal olarak oluşturmaya başlarsa veri işlem hatlarının bozulmasına neden olur.
Esnekliği tutarlılıkla dengelemek, bu katmanı iki alt katmana bölmenizi gerektirir.
Ham katman
Ham katman, orijinal biçimi ve yapıyı dönüştürmeden koruyarak değiştirilmemiş verileri tam olarak geldiği gibi depolar. Veri keşfi, denetim ve tekrarlanabilirlik için kurumsal çapta bir depodur. Ekipler, gerektiğinde verileri orijinal haliyle tekrar inceleyip analiz edebilir, bu da şeffaflık ve izlenebilirlik sağlar.
Standartlaştırılmış katman
Standartlaştırılmış katman, önceden tanımlanmış standartlara göre doğrulama ve dönüştürmeler uygulayarak ham verileri tüketime hazırlar. Örneğin, bu katmanda tüm telefon numaraları dizelere, tüm zaman değerleri belirli biçimlere vb. dönüştürülecektir. Böylece kuruluş içindeki tüm kullanıcıların yapılandırılmış, kalite güvenceli verilere erişmesi için arayüz haline gelir.
Veri mimarisindeki standartlaştırılmış katman, self servis iş zekası (BI), rutin analiz ve ML iş akışlarını etkinleştirmek için son derece önemlidir. Şema standartlarını zorlarken şema değişikliklerinden kaynaklanan aksaklıkları en aza indirir.
Uyumlu katman
Farklı kaynaklardan veri entegrasyonu uyumlu katmanda tamamlanır. Etki alanları arasında birleşik bir kurumsal veri modeli oluşturur. Örneğin, müşteri verileri farklı departmanlarda farklı ayrıntılara sahip olabilir; sipariş ayrıntıları satış tarafından, finansal geçmiş hesaplar tarafından ve ilgi alanları ve çevrimiçi etkinlik pazarlama tarafından yakalanır. Uyumlu katman, kuruluş genelinde bu tür veriler için ortak bir anlayış oluşturur. Temel avantajlar şunları içerir:
- Kuruluş genelinde temel varlıkların tutarlı, birleşik tanımı.
- Veri güvenliği ve gizlilik düzenlemelerine uygunluk.
- Merkezi ve dağıtılmış modeller aracılığıyla kurumsal çaptaki tekdüzeliği etki alanına özgü özelleştirmeyle dengeleyen esneklik.
Doğrudan operasyonel iş zekası için kullanılmaz ancak keşif amaçlı veri analizini, self servis iş zekasını ve etki alanına özgü veri zenginleştirmeyi destekler.
Zenginleştirilmiş katman
Bu katman, önceki katmandaki verileri belirli kullanım örnekleri için uyarlanmış veri ürünleri adı verilen veri kümelerine dönüştürür. Veri ürünleri, günlük karar verme süreçlerinde kullanılan operasyonel panolardan kişiselleştirilmiş öneriler veya bir sonraki en iyi eylem öngörüleriyle zenginleştirilmiş ayrıntılı müşteri profillerine kadar çeşitlilik gösterebilir. Belirli kullanım örneklerine göre seçilen çeşitli veri tabanlarında veya uygulamalarda barındırılırlar.
Kuruluşlar, diğer ekipler tarafından keşfedilebilirlik ve erişim için veri ürünlerini merkezi veri yönetim sistemlerinde kataloglar. Bu uygulama yedekliliği azaltır ve yüksek kaliteli, zenginleştirilmiş verilerin kolayca erişilebilir olmasını sağlar.
Veri mimarisi türleri nelerdir?
Farklı veri mimarisi türleri oluşturan uyumlu katmana yönelik iki farklı yaklaşım vardır.
Merkezi veri mimarisi
Merkezi veri mimarilerinde uyumlu katman, kuruluş genelinde evrensel olarak kullanılan müşteri veya ürün gibi ortak varlıkları oluşturmaya ve yönetmeye odaklanır. Varlıklar, daha kolay veri yönetimi ve geniş uygulanabilirlik için sınırlı sayıda genel öznitelikle tanımlanır. Örneğin, bir müşteri varlığı ad, yaş, meslek ve adres gibi temel öznitelikleri içerebilir.
Bu tür veri mimarileri, özellikle kimliği tanımlayabilecek bilgiler (PII) veya ödeme kartı bilgileri (PCI) gibi hassas bilgiler için merkezi veri yönetişimini destekler. Merkezi meta veri yönetimi, şeffaflık ve güvenlik için soy takibi ve yaşam döngüsü denetimleriyle verilerin etkili bir şekilde kataloglanmasını ve yönetilmesini sağlar.
Ancak bu model, karmaşık veri gereksinimlerinin merkezi olarak yönetilmesi karar verme sürecini ve inovasyonu yavaşlattığından olası tüm öznitelikleri dahil etmekten kaçınır. Bunun yerine, müşteri kampanyası gösterimleri (yalnızca pazarlama için gereklidir) gibi etki alanına özgü özellikler, ilgili iş birimleri tarafından zenginleştirilmiş katmanda türetilir.
Veri yapısı teknolojileri, merkezi veri mimarilerinin uygulanmasında kullanışlıdır.
Dağıtılmış veri mimarisi
Her etki alanı, dağıtılmış veri mimarilerinde kendi uyumlu katmanını oluşturur ve yönetir. Örneğin, pazarlama müşteri segmentleri, kampanya gösterimleri ve dönüşümler gibi özelliklere odaklanırken, muhasebe siparişler, gelir ve net gelir gibi özelliklere öncelik verir.
Dağıtılmış veri mimarileri, varlıkların ve özelliklerinin tanımlanmasında esneklik sağlar ancak ortak varlıklar için birden fazla veri kümesinin ortaya çıkmasıyla sonuçlanır. Bu dağıtılmış veri kümelerinin keşfedilebilirliği ve yönetişimi, merkezi bir meta veri kataloğu aracılığıyla sağlanır. Paydaşlar, veri alışverişi süreçlerini denetlerken uygun veri kümesini bulabilir ve kullanabilir.
Veri ağı teknolojileri, dağıtılmış veri mimarilerinin uygulanmasında kullanışlıdır.
Veri mimarisi çerçevesi nedir?
Veri mimarisi çerçevesi, veri mimarisi tasarlamaya yönelik yapılandırılmış bir yaklaşımdır. Kuruluşun iş hedefleriyle uyumlu verimli veri yönetimi süreçleri sağlayan bir dizi politika, standart, model ve araç sağlar. Bunu, bir veri mimarının yüksek kaliteli ve kapsamlı veri mimarileri oluşturmak için kullandığı standart bir ayrıntılı plan olarak düşünebilirsiniz.
Veri mimarisi çerçevelerine bazı örnekler:
DAMA-DMBOK çerçevesi
Veri Yönetimi Bilgi Tabanı (DAMA-DMBOK) çerçevesi, yaşam döngüsü boyunca etkili veri yönetimi için en iyi uygulamaları, politikaları ve süreçleri genel hatlarıyla belirtir. İş hedefleriyle uyumluluğu sağlarken tutarlı veri yönetimi uygulamaları oluşturmayı destekler. DAMA-DMBOK, veri varlıklarını stratejik bir kaynak olarak ele alarak karar verme ve operasyonel verimliliği artırmak için eyleme geçirilebilir rehberlik sağlar.
Zachman çerçevesi
Zachman çerçevesi, farklı bakış açıları (işletme sahibi, tasarımcı ve oluşturucu) ve altı temel soru (Ne, Nasıl, Nerede, Kim, Ne Zaman ve Neden) arasındaki ilişkileri tanımlamak için bir matris formatı kullanan bir kurumsal mimari çerçevesidir. Kuruluşlar, verilerin genel operasyonlarına nasıl uyum sağladığını görselleştirebilir ve verilerle ilgili süreçlerin iş hedefleri ve sistem gereksinimleriyle uyumlu olmasını sağlayabilir. Zachman çerçevesi, kurumsal çaptaki veri ve sistem bağımlılıklarına açıklık getirme yeteneği ile yaygın olarak tanınmaktadır.
TOGAF
Açık Grup Mimarisi Çerçevesi (TOGAF), veri mimarisini daha geniş bir sistemin kritik bir bileşeni olarak ele alır ve kurumsal ihtiyaçları destekleyen veri modellerinin, veri akışlarının ve yönetişim yapılarının oluşturulmasını vurgular. Standartlaştırılmış veri süreçleri oluşturarak sistemlerin birlikte çalışabilirliğini ve verimli veri yönetimini sağlar. Özellikle BT ve iş stratejilerini birleşik bir yaklaşımla uyumlu hale getirmek isteyen büyük işletmeler için faydalıdır.
Veri mimarisi diğer ilgili terimlerle nasıl karşılaştırılır?
Farklı veri terminolojileri kulağa benzer gelse de tamamen farklı anlamlara sahiptir. Aşağıda bazı açıklamalara yer veriyoruz.
Veri mimarisi ve bilgi mimarisi
Bilgi mimarisi, bilgilerin son kullanıcılar göz önünde bulundurularak organize edilmesi ve sunulmasıdır. Bu terim kullanıcı arayüzleri, web siteleri veya içerik sistemleri için geçerlidir ve son kullanıcı bilgi erişilebilirliği ile ilgilidir. Bilgi mimarisindeki politikalar ve araçlar navigasyon, sınıflandırma ve aranabilirliğe odaklanır (örneğin, çevrimiçi bir bilgi deposu veya belge veri tabanı içinde).
Buna karşılık, veri mimarisi tüm kurumsal verileri tasarlamaya ve yönetmeye odaklanır. Tüm arka uç teknik veri altyapısıyla ilgilenirken, bilgi mimarisi yalnızca son kullanıcıların bilgilerle nasıl etkileşime girdiğine ve bilgileri yorumladığına odaklanır.
Veri mimarisi ve veri mühendisliği
Veri mühendisliği, veri mimarisinin pratik uygulamasıdır. Veri mimarları, bir kuruluşun veri varlıklarını yönetmek için üst düzey bir plan sağlar. İş hedefleri ve güvenlik politikalarıyla uyumlu ölçeklenebilir veri sistemleri tasarlarlar. Veri mühendisleri, veri işlem hatlarını oluşturan, sürdüren ve optimize eden planı uygular. Verilerin veri mimarisi kurallarına göre alınmasını, temizlenmesini, dönüştürülmesini ve analiz için teslim edilmesini sağlarlar.
Veri mimarisi ve veri modelleme
Veri modelleme, veri mimarisi içinde herhangi bir veri toplamanın görsel bir temsilini oluşturan bir süreçtir. Toplanan verileri özetleyen kavramsal, mantıksal ve fiziksel veri modelleri oluşturmayı içerir. Mantıksal bir veri modeli, platformdan bağımsız bir şekilde uygulama için veri kısıtlamalarını, varlık adlarını ve ilişkileri şematik olarak temsil eder. Fiziksel bir veri modeli, belirli veri teknolojisi üzerinde uygulamak için mantıksal modeli daha da iyileştirir.
Veri mimarisi, veri modellemenin ötesinde çok daha geniş bir kapsama sahiptir. Veri nitelikleri ve ilişkilerinin ötesinde, kuruluş çapında veri yönetimi için daha geniş bir strateji de tanımlar. Kurumsal hedeflerle uyumlu veri entegrasyonu için altyapı, politika ve teknolojileri içerir.
AWS, veri mimarisi gereksinimlerinizi nasıl destekleyebilir?
AWS, depolama ve yönetimden veri yönetişimine ve yapay zekaya kadar veri mimarinizin her katmanı için kapsamlı bir analiz hizmetleri seti sağlar. AWS en iyi fiyat/performans oranı, ölçeklenebilirlik ve en düşük maliyet ile amaca yönelik hizmetler sunar. Örneğin,
- AWS'deki veri tabanları, çeşitli ilişkisel ve ilişkisel olmayan veri modellerini desteklemek için 15'in üzerinde amaca yönelik veri tabanı hizmeti içerir.
- AWS'deki veri gölleri, sınırsız ham veri depolama alanı sağlayan ve aylar yerine günler içinde güvenli veri gölleri oluşturan hizmetleri içerir.
- AWS ile veri entegrasyonu, kuruluşunuz genelinde verileri dönüştürebilmeniz, operasyonel hale getirebilmeniz ve yönetebilmeniz için birden fazla kaynaktan gelen verileri bir araya getiren hizmetleri içerir.
AWS Well-Architected, bulut verisi mimarlarının güvenli, yüksek performanslı, dayanıklı ve verimli altyapı oluşturmasına yardımcı olur. AWS Mimari Merkezi, kuruluşunuzda çeşitli modern veri mimarilerini uygulamak için kullanım örneğine dayalı yönergeler içerir.
Hemen ücretsiz bir hesap oluşturarak AWS'de veri mimarisini kullanmaya başlayın.
