Guru, Amazon OpenSearch Service'ı Kullanarak Yeni İş Fırsatları Yaratıyor

Bilgi yönetim yazılımları sağlayan bir startup olan Guru Technologies (Guru), şirketlerin -nerede depolandığı fark etmeksizin- dahili bilgilerine ihtiyaç duydukları her an erişmelerini kolaylaştırıyor. Alakalı sorgu sonuçlarına hızlı bir şekilde ulaşmak, hem Guru hem de Slack, Noom, Nubank, Zoom Video Communications, Shopify ve Spotify gibi şirketleri içeren müşteri tabanı açısından her zaman büyük öneme sahip olmuştur. Ancak Guru, ciddi bir büyüme yakaladığından (özellikle aylık aktif kullanıcı sayısında bir önceki yıla göre oldukça yüksek artış) kendi kendine yönetilen Elasticsearch çözümünün, şirketin uygun ölçekte inovasyonu sürdürmek için ihtiyaç duyduğu ölçeklenebilirliğe, hıza veya güvenilirliğe sahip olmadığını fark etti. 

2014 yılındaki kuruluşundan bu yana Amazon Web Services'ı (AWS) kullanan Guru, çözümü yine AWS'de aradı. Etkileşimli günlük analizi, gerçek zamanlı uygulama izleme, web sitesi araması ve daha fazlasını gerçekleştirmenizi kolaylaştıran, yönetilen bir hizmet olan Amazon OpenSearch Service'ı kullanma

Bulut tabanlı bir çözümü uygulamaya koymak isteyen Guru, teknoloji altyapısını en başından itibaren AWS üzerinde inşa etti. Şirket, bulutun depolamaya, ölçeklendirmeye ve esnekliğe yönelik ihtiyaçlarını karşılayabileceğinin ve altyapısını bir ortak yerleşim merkezinde çalıştırmanın yönetim ve kapasite genişletme açısından ciddi çaba gerektireceğinin farkındaydı. Guru teknoloji direktörü ve kurucu ortağı Mitchell Stewart süreci şöyle anlatıyor: "AWS'de çalışmaya başladığımızda hedefimiz, ortamlarımızı otomatik olarak başlatabilmek için kod olarak altyapıya sahip olmaktı."

Şirket, başlangıçta ilgili AWS ve üçüncü taraf kaynaklarından oluşan bir koleksiyon modellemeye, bunları hızlı ve tutarlı bir şekilde tedarik etmeye ve altyapıyı kod olarak görerek yaşam döngüleri boyunca yönetmeye yönelik basit bir yol sunan AWS CloudFormation'ı kullandı. Guru aynı zamanda, uygun ölçekte aktarım hızı ve işlem açısından yoğun iş yükleri için Amazon Elastic Compute Cloud (Amazon EC2) üzerinde kullanılmak üzere tasarlanmış, kullanımı basit ve yüksek performanslı bir blok depolama hizmeti olan Amazon Elastic Block Store'dan (Amazon EBS) faydalandı. Stewart: "İşe oldukça basit bir mimariyle başladık. O zamandan bu yana, AWS'nin son 7 yıl içinde kullanıma sunduğu her teknolojiyi benimsemeyi sürdürdük. Mimarimiz çok daha karmaşık bir hale gelse de temel prensip değişmedi: AWS tam olarak yönetilen hizmetler sunmaya devam ediyor ve kendi başımıza çözmek zorunda kalmamamız için bir dizi esnek ve dinamik ölçeklendirme sorununu bizim adımıza çözüyor."

Guru için bu ölçeklendirme sorunlarından biri de Elasticsearch ile ilgiliydi. Şirket, başlangıçta işlem için Amazon EC2'yi kullanarak kendi Elasticsearch kümesini barındırıyordu. Stewart: "Elasticsearch, ürünümüzün temel bir parçası. Kullanıcılarımıza düşük gecikme süresi ve alakalı arama sonuçları sunarak genel arama performansını iyileştirmenin yollarını aktif olarak aradığımız için buna çok fazla kaynak ve çaba harcadık." Amazon OpenSearch Service'a geçiş yapma kararı verilirken kaynaklar dikkate alındı. Stewart: "Kendimize şu soruyu sorduk: Kendi Elasticsearch kümemiz ile ilgilenecek özel çalışanlarımız olsun mu istiyoruz yoksa uzman yönetim sunan bir Elasticsearch hizmetiyle çalışmayı mı tercih ederiz?"

Guru, Amazon OpenSearch Service'a geçiş sürecini 2020 yılının yaz aylarında başlattı ve birkaç ay sonra tamamladı. Şirket, kısa bir süre içinde bu geçişten çeşitli faydalar gördü. Örnek vermek gerekirse şirket, büyük miktarlarda veriyi açık kaynaklı araçları kullanarak işlemeye yönelik sektör lideri bir bulut büyük veri hizmeti olan Amazon EMR'yi kullanarak arama altyapısının arama sonucu alaka düzeyini iyileştirme amaçlı bir deneme çerçevesi geliştirmeyi başardı. Bu, uzun vadede kullanıcıların aradıkları bilgileri daha hızlı bulmalarına yardımcı olacak.

Guru, bu çerçeveyi kullanarak çok sayıda hızlı ve faydalı test gerçekleştirebiliyor. Şirket örneğin önerilen algoritma değişiklikleri ile yeni bir Elasticsearch kümesini başlatıp yeni kümenin arama sonucu alaka düzeyinin başlangıçtaki üretim kümesine kıyasla daha iyi mi yoksa daha kötü mü olduğunu belirleyebiliyor. Amazon OpenSearch Service, şirketin arama sorgularını gerçek zamanlı olarak günlüğe kaydetmesini mümkün kıldığı için Guru, arama sonucu alaka düzeyini ölçmeyi ve karşılaştırmayı kısmen başarabildi. Stewart: "[Amazon OpenSearch Service], Amazon EMR ve algoritma yinelemeleri ile deneme yapmak için hazır bulunan diğer tüm araçlara sahip olmasaydık bunu yapmayı aklımızdan geçirmek için bile gereken bant genişliğine sahip olamazdık."

Guru'nun yürüttüğü denemeler eskiden haftalar veya aylar sürüyordu. Fakat AWS ortamına geçiş yaptıktan sonra şirket, denemeleri saatler ve hatta dakikalar içinde yürütebiliyor. Guru makine öğrenimi baş mühendisi Nabin Mulepati şunları söylüyor: "Daha önce ne zaman deneme yürütmemiz gerekse denemeyi gerçekten yürütebilmek için bir DevOps kaynağının sadece ölçeği büyütmek için 5-6 saat harcaması gerekiyordu. Şimdi ise sadece 'Bana 30 düğüm verin, yeter.' dedikten bir saat sonra deneme yürütmeye hazır bir kümeye sahip oluyoruz. İşimiz bittiğinde ise gereksiz maliyetlerden kaçınmak için ölçeği tekrar küçültebiliyoruz."

Guru, 2020 sonbaharı ile 2021'in ilk ayları arasındaki geçiş sürecinin tamamlanması sırasında neredeyse yarım milyar sorgunun yeniden çalıştırılmasını gerektiren denemeler yürüttü. Bu denemelerin sonucunda, şirketin arama performansında yüzde 10 oranında iyileşme görüldü.

Yönetilen Amazon OpenSearch Service ortamı, Guru'nun aktif olarak deneme yürütmediği dönemlerde bile yükseltmeleri şirket açısından daha basit hale getiriyor. Guru baş mühendisi Jeff Plater şunları söylüyor: "Geçmişte, Elasticsearch'ün sunduğu yeni özelliklerden faydalanamadık ve bu nedenle müşterilerimizin sorunlarını çözemedik. Artık [Amazon OpenSearch Service]'a geçiş yaptığımız için güncelliğimizi koruyabiliyor ve bu özellikleri edinebiliyoruz. Bu, uzun vadede kullanıcılarımız için arama hizmetini daha hızlı iyileştirmemize olanak tanıyacak." Günde 1 milyona kadar arama isteği alan Guru için yavaşlamak bir seçenek değil.

Guru, kendi kendine yönetilen Elasticsearch kümelerinden Amazon OpenSearch Service'a geçiş yaparak denemelere ve inovasyona odaklanmaya daha çok zaman ayırmayı başardı. Bu çerçeveyi hayata geçiren Guru, k-en yakın komşu algoritmasını uygulamaya koymak ve sıralamayı öğrenmek dahil olmak üzere makine öğrenimi ve derin öğrenme ile denemeler yapmaya yönelik ölçeklenebilir bir yola sahip. Şirket, makine öğrenimi için amaca özel tasarlanmış geniş bir özellik setini bir araya getirerek veri bilimcilerin ve geliştiricilerin yüksek kaliteli makine öğrenimi modelleri hazırlamalarına, oluşturmalarına, eğitmelerine ve dağıtmalarına yardımcı olan Amazon SageMaker'ı kullanmaya başlamayı da planlıyor.

Yeni özellikleri kullanıma sunarken hızla büyümeyi de hedefleyen bir startup olarak Guru, şirketin inovasyon yapmaya devam edebilmek için ihtiyaç duyduğu güvenilirliği, ölçeklenebilirliği ve esnekliği AWS'nin sunabileceğini keşfetti. Guru ürün pazarlama direktörü Steve Mayernick şunları söylüyor: "AWS'nin harika özelliklerinden biri de self servis olması, ortam içinde istediğiniz kadar hızlı hareket edebiliyorsunuz. Ortamın içine hızlı bir şekilde girebiliyor, startup'ınız için gereken herhangi bir sistemi kullanabiliyor ve ardından tekrar tekrar yineleme yapabiliyorsunuz. Sizi yavaşlatabilecek bir üçüncü taraf satıcı ile etkileşime girme iznine ihtiyaç duymadan her şeyi geliştirebiliyorsunuz."