Çoğunuz, ELK yığınının avantajlarını ve neden çok sayıda ekip tarafından kullanıldığını zaten biliyorsunuz. ELK, yalnızca hataları ve üretim sorunlarını tespit edip çözmek için önemli olmakla kalmaz, aynı zamanda müşteri öngörüleri için giderek daha değerli hale gelir. Ayrıca, sistemlerin durumu ve kullanımıyla ilgili ek ölçümler elde etmek ekibinize güçlü bir rekabet avantajı sağlar. Diğer şirketler, yetersiz kaldıkları yeri tespit etmekte sorun yaşarken, ekibiniz verileri inceleyebilir, uyumlu hale getirebilir ve sisteminizin ihtiyaç duyduğu şeyleri sunabilir.
Bir yönetici olarak, mühendisleriniz ve DevOps ekipleriniz için iyi bir günlük kaydı çözümü sunmak sıklıkla aklınıza gelir. Ancak aynı zamanda bunu sunmak için ödemeniz gereken bir ücret olduğunu da bilirsiniz. Altyapı maliyetine ek olarak, uğraşmanız gereken yükseltmeler, düzeltme ekleri ve dağıtımlar da vardır. Ve tüm bunlar zaman, emek ve uzmanlık gerektirir.
Peki sürdürmesi ve desteklemesi kolay bir günlük kaydı çözümünü nasıl sunabilirsiniz? ELK yığınının tüm avantajlarına başımız ağrımadan erişebilmenin bir yolu var mı?
Günlük kaydı neden bu kadar önemli?
Makine verilerinin büyümesiyle, günlük kaydı giderek daha önemli hale geldi. En iyi uygulama performansı için sorunları tespit etmek ve gidermek son derece önemlidir. Ek olarak, günlüklerinizdeki önemli iş ölçümlerine ve verilere erişmenizi sağlayan pek çok araç bulunmaktadır. Günlük kaydı artık sadece sorunları bulmak için kullanılmıyor. Aynı zamanda sistemlerinizi izlemeye de yarıyor.
Şüphesiz ki, günlük kaydı son derece önemli. Öyleyse günlük kaydını nasıl uygulayacağımızdan bahsedelim. Bugün popüler olan bir yöntem ELK yığınıdır. Elasticsearch ve Kibana'nın Apache 2.0 lisanslı sürümleriyle (sürüm 7.10.2'ye kadar) ELK yığınını kendiniz dağıtmayı ve yönetmeyi ya da OpenSearch, OpenSearch Dashboards ve Logstash ile ELK yığınına açık kaynaklı bir alternatifi otomatik şekilde yönetmeyi seçebilirsiniz.
ELK yığınını neden kullanmalıyım?
ELK'nin Elasticsearch, Logstash ve Kibana'nın merkezinde yer alan bir yığın olduğunu hatırlatmak isteriz. Her birinin eşit derecede hızlı bir özetine göz atalım.
Elasticsearch: Tam metin arama ve ayrıca günlük ve ölçümleri analiz etme için kullanılan bir arama ve analiz altyapısı.
Logstash: Günlükleri ve olayları alıp dönüştüren açık kaynaklı bir araç.
Kibana: Günlükleri ve olayları incelemeye yarayan bir görselleştirme ve keşif aracı.
ELK yığınının bileşenleri birlikte kullanıldığında size tüm sistemlerinizdeki günlükleri toplama imkanı sunar. Günlükleri yalnızca sorunlar için analiz etmeyin, aynı zamanda sistem kullanımını izleyin ve iyileştirme fırsatları bulun. ELK'nin sunduğu veri analizi ve görselleştirme rakipsizdir.
Peki ELK için neden yönetilen bir hizmet kullanmalısınız? İyi bir ekibiniz var. Tek bir barındırma sağlayıcısına bağlı kalmak istemiyorsunuz. Ayrıca özel kullanım örneğiniz için her şeyi yapılandırma esnekliğine de sahip olmak istiyorsunuz. ELK'yi neden kendiniz yönetmemelisiniz?
Uzun lafın kısası: zor.
Kendi ELK yığınımı yönetmek neden bu kadar zor?
ELK'yi yönetmenin tek başınıza yapmak istemeyeceğiniz bir şey olmasının bazı nedenlerini inceleyelim.
Yükleme nadiren kolaydır
Sistemleri entegre etme konusunda yüklemenin her zaman önemsiz olmadığını unutmayın. En iyi yapılandırma nedir? Gizli dizilerinizi nerede yönetiyorsunuz? Ne kadar donanıma ihtiyacınız var?
Hızlı bir internet aramasıyla ELK'yi yüklemeye ilişkin pek çok makale bulabilirsiniz. Bu makaleleri incelerseniz kullanmaya başladığınızda ELK'nin tek tıklamayla dağıtımdan çok uzak olduğunu fark edebilirsiniz. Aslına bakarsak pek çok ön koşul vardır. Ya her şey için yerleşik yapılandırma sunan temel yüklemeyi kullanırsınız ya da tüm yapılandırma seçeneklerini araştırmak için daha fazla zaman ayırırsınız. Veri alma limitleriniz neler? Tutma planınız ne? Neden önemli?
Şimdi bunu, sahip olduğunuz her bir ortam için birkaç kez yaptığınızı düşünün.
Her şey için otomatik komut dizileri kullansanız da her şeyin ayarlanması ve düzgün şekilde çalışması çok fazla zaman alır. Bu, müşterilerinize değer sunmaya ayıracağınız zamandan çalar. Amazon OpenSearch Service gibi yönetilen hizmetlerle, ELK yığınını dağıtmak basit ve tekrarlanabilir bir işlemdir.
Nadiren hızlıdır
Çoğu şirket, ürününü pazara hızla sürmeye çalışır. Ancak yığınınızı ve altyapınızı üretime hazır hale getirmek için haftalar hatta aylar harcamak zorunda kalırsanız bunu yapamazsınız.
Uygulamaları üretime geçirmeye yönelik mevcut süreciniz nedir? Hazır olduğunuzdan emin olmak için hangi test, doğrulama ve rötuşları yapıyorsunuz? Ve donanımızın yoğun yazmalı operasyonlar için optimum olarak ayarlanması gerekiyorsa üretime girmeden önce bunu yapıyor musunuz? Yükseltmeler için planınız ne?
Kendi ELK yığınınızı yönetiyorsanız tüm bunları alışık olmadığınız altyapı ve uygulamalarla yapıyorsunuzdur. Amazon OpenSearch Service gibi hizmetler; altyapı, uygulama ve devam eden bakım maliyetlerini önemli ölçüde azaltmanıza yardımcı olabilir.
Dayanıklılığa daha fazla zaman ayrılır
ELK yığınınızı yönetirken kendinizi kısa süre içinde dayanıklılık konusunda endişelenirken bulursunuz. Elasticsearch düğümlerinizden biri çökerse ya da Kibana performansınız kullanılamaz hale gelirse ne yapmanız gerekir?
Dahası, yukarıdaki adımlarda altyapınızı doğru şekilde ayarlarsanız sorun yaşayabilirsiniz. Logstash ve Elasticsearch'ün bellek gereksinimi yüksektir. İki uygulamayı aynı küçük donanıma yükleyerek zamandan ve paradan tasarruf etmeye çalıştıysanız bu iki uygulama çakışacaktır. Ve henüz sürümleri güncelleme veya güvenlik sorunlarını izleme ve düzeltme eki uygulama planı hakkında konuşmadık bile!
AWS bu ihtiyaçlar konusunda yardımcı olabilir. Örneğin, Elasticsearch düğümlerinizi göz önünde bulunduralım. Bir düğüm çökerse Amazon OpenSearch Service bunu tespit eder ve sizin için değiştirir. Bu, endişelenmekle uğraşmak istemeyeceğiniz bir başka konudur.
Temelde, büyük bir ekibe sahip olmak iyidir ve oto yönetim ekibinizi daha da büyütür. Bir Elasticsearch kümesini çalıştırmak, iş kolunuz için önemli değilse AWS'nin bunu sizin için yönetmesine izin verin. Mühendislerinize ELK yığınını yönetmek için değil, iş değeri yaratmak için ödeme yapmak her zaman iyi bir fikirdir.
Peki ELK yığınıyla ilgili sorunları önlemeye yardımcı olan araçlar nelerdir?
ELK'yi oluşturuyor, çalıştırıyor ve destekliyorsanız sadece bir aracı desteklemediğinizi hatırlamak önemlidir. Artık üç araç için endişelenmeniz gerekir. Üretimde çalıştırmak da başka endişeler doğurur. Oto yönetim maceranızda desteklemeniz gereken başka ne var?
Örneğin, daha fazla dayanıklılık istiyorsanız günlükleri kuyruğa almak için Kafka'yı kullanmanız gerekebilir. Trafiğin yüksek olduğu zamanlarda, ELK yığınınız hıza ayak uyduramayacağı için günlükleri kaybetmek istemezsiniz. Kafka yönetimini de üstlenmeye hazır mısınız? Alternatif olarak, yoğun zamanlarda yükü yönetmeye yardımcı olması için Redis'i de kullanabilirsiniz. Ama durun. Listeye yönetmeniz gereken bir şey daha mı eklendi? Peki ekibinizin sistemi izleyebilmesi için ihtiyaç duyduğunuz analizleri nasıl elde edeceksiniz? Bunu da manuel olarak mı yapacaksınız? Ya da ihtiyacınız olan izlemeyi sağlayacak başka bir sistem mi yükleyip yapılandıracaksınız?
Bir alternatif var. Yardımcı olması için Amazon CloudWatch gibi bir hizmet kullanabilirsiniz. Bu, Kibana ile birlikte çalışır ve günlükleri analiz etmek için kullanımı kolay bir yöntem oluşturur.
Sonuncu ancak bir o kadar önemli diğer nokta da Amazon OpenSearch Service gibi yönetilen Elasticsearch hizmetlerinin VPC desteği, beklemedeki ve taşıma halindeki veriler için yerleşik şifreleme ve kullanıcı kimlik doğrulaması dahil olmak üzere güvenlik entegrasyonunda yardımcı olabilmesidir.
Yönetilen çözümler sizin için uygun mu?
Çoğu şirket, şirket içinde barındırmanın bir seçenek olduğuna karar verir. Ancak, sorunsuz bir şekilde çalışmaya devam etmek için gereken iş, teknik kaynak ve uzmanlığın miktarını her şirket dikkate almaz. Ve hiç kimse, müşterilerine harika ürünler sunmaya ayırabileceği zamanı bir sistemi çalışır durumda tutmak için ayırmak istemez.
Şirket içinde barındırma konusunu düşünüyor olsanız bile, hızla çalışmaya başlamak için Amazon OpenSearch Service gibi yönetilen hizmetlerle başlamanız faydalı olacaktır. Bir kez denedikten sonra, Amazon OpenSearch Service gibi yönetilen hizmetlerin önemli olan şeylere zaman ayırmanızı sağladığını göreceksiniz.
OpenSearch, Elasticsearch B.V.'den Apache lisanslı belirli bir Elasticsearch kodunu ve başka bir kaynak kodu içerir. Söz konusu diğer kaynak kodun kaynağı Elasticsearch B.V. değildir. ELASTICSEARCH, Elasticsearch B.V.'nin tescilli ticari markasıdır.
Amazon OpenSearch Service fiyatlandırması hakkında daha fazla bilgi edinin