Amazon OpenSearch Hizmeti Özellikleri

Kurulum ve yapılandırma: OpenSearch Hizmeti'ni kullanmaya başlamak son derece kolaydır. OpenSearch Hizmet kümenizi, AWS Yönetim Konsolu veya AWS Komut Satırı Arabirimi (CLI) aracılığıyla tek bir API çağrısını kullanarak ayarlayabilir ve yapılandırabilirsiniz. Bulut sunucusu sayısını, bulut sunucusu tiplerini, depolama seçeneklerini belirleyebilirsiniz ve istediğiniz zaman mevcut kümeleri değiştirebilir ya da silebilirsiniz.

Yerinde yükseltmeler: OpenSearch Hizmeti, yerinde sürüm yükseltmelerini kullanarak herhangi bir kesinti olmadan OpenSearch ve Elasticsearch kümelerinizi (7.10 sürümüne kadar) daha yeni sürümlere yükseltmenizi kolaylaştırır. Yerinde yükseltmeler, manuel olarak anlık yedek alma zorluğunu ortadan kaldırır, kümenizi daha yeni sürümü çalıştıran bir kümeye geri yükler ve tüm uç nokta başvurularını günceller.

Olay izleme ve uyarı: OpenSearch Hizmeti, kümenizde depolanan verileri izlemenize ve önceden yapılandırılmış eşiklere dayalı olarak bildirimleri otomatik olarak göndermenize olanak tanıyan yerleşik olay izleme ve uyarı sağlar. OpenSearch uyarı eklentisi kullanılarak oluşturulan bu özellik, Kibana veya OpenSearch Dashboards arabirimini ve REST API'yi kullanarak uyarıları yapılandırmanıza ve yönetmenize olanak tanır. Özel web kancaları, Slack, Amazon Basit Bildirim Hizmeti (Amazon SNS) ve Amazon Chime aracılığıyla bildirim alabilirsiniz. Amazon CloudWatch aracılığıyla bulut sunucusu sayısı, küme sağlığı, aranabilir belgeler, CPU ve bellek ile veri ve ana düğümler için disk kullanımı dâhil olmak üzere küme sağlığı ölçümlerini ek ücret ödemeden görüntüleyebilirsiniz.

Birden fazla sorgu dili için destek: Amazon OpenSearch Hizmeti ile OpenSearch sorgu etki alanına özgü dil (DSL) yeterliliğine gerek yoktur. OpenSearch SQL ile SQL sorguları yazın veya verilerinizi keşfetmek, keşfetmek ve sorgulamak için boru (|) söz dizimini kullanmanıza izin veren bir sorgu dili olan OpenSearch Hatlı İşleme Dili'ni (PPL) kullanın. OpenSearch Dashboards, bir SQL ve PPL workbench'i de içerir.

Açık kaynaklı araçlarla entegrasyon: OpenSearch Hizmeti, yerleşik OpenSearch Dashboards ve Kibana'yı (Elasticsearch sürüm 7.10 ve daha eski) sunar ve Logstash ile entegre olur. Böylece tercih ettiğiniz açık kaynaklı araçları kullanarak verilerinizi alabilir ve görselleştirebilirsiniz. Açık kaynaklı OpenTelemetry standardı için OpenSearch Hizmeti desteğiyle izleme analizi gerçekleştirin ve Elasticsearch API'lerine ve Kuromoji, Fonetik Analiz, Ingest Processor Attachment, Ingest User Agent Processor ve Mapper Murmur3 gibi eklentilere doğrudan erişimle mevcut kodunuzu kullanmaya devam edin.

Güvenlik: OpenSearch Hizmeti ile uygulamalarınızı yönetilen Elasticsearch (sürüm 7.10 ve öncesi) veya OpenSearch ortamınıza Amazon Sanal Özel Bulut’tan (Amazon VPC) veya halka açık internet üzerinden güvenli bir şekilde bağlayabilir, VPC güvenlik gruplarını veya IP tabanlı erişim politikalarını kullanarak ağ erişimini yapılandırabilirsiniz. Ayrıca Amazon Cognito veya AWS Kimlik ve Erişim Yönetimi (IAM) kullanarak ya da bir kullanıcı adı ve parolayla temel kimlik doğrulaması yaparak kullanıcıların kimliğini güvenle doğrulayabilir ve erişimi kontrol edebilirsiniz. OpenSearch Hizmeti; dizinler, belgeler veya alanlar için ayrıntılı izinler tanımlamanıza yardımcı olan OpenSearch güvenlik eklentisini kullanır. Ayrıca, Kibana'yı salt okunur görüntülemeler ve güvenli çoklu kiracı desteğiyle genişletebilirsiniz. OpenSearch Hizmeti, kullanımda olmayan ve taşınmakta olan veriler için yerleşik şifrelemeyi de destekler. Böylece, verilerinizi etki alanınızda veya otomatik anlık yedeklerde saklanırken ve etki alanınızdaki düğümler arasında aktarılırken koruyabilirsiniz. OpenSearch Hizmeti, HIPAA'ya uygundur ve PCI DSS, SOC, ISO ve FedRAMP standartlarıyla uyumludur, bu da uyumluluk gereksinimlerini karşılayan uygulamalar oluşturmayı kolaylaştırır.

Sunucusuz: Amazon OpenSearch Sunucusuz ile değişen kullanım kalıpları ve talep sırasında hızlı veri alımı oranları ve milisaniyelik yanıt süreleri sağlamak üzere otomatik olarak tedarik edin ve sürekli olarak ayarlayın.

Sıcak depolama, sık erişilen verilerin hızla alınmasına olanak tanır. UltraWarm, etkileşimli bir sorgulama deneyimi sunarken daha eski ve daha seyrek erişilen veriler için daha ucuz depolama sağlayarak OpenSearch Hizmeti sıcak depolama katmanını tamamlayan bir sıcak depolama katmanıdır. UltraWarm, verileri Amazon Basit Depolama Hizmeti'nde (Amazon S3) depolar ve bu verileri hızlı bir şekilde önbelleğe almak, önceden getirmek ve sorgulamak için AWS Nitro Sistemi'nde özel, yüksek düzeyde optimize edilmiş düğümler kullanır.

UltraWarm ile tek bir OpenSearch Hizmeti kümesinde 3 PB'a kadar veriyi saklayabilir ve sıcak depolama katmanına kıyasla GB başına maliyeti yaklaşık %90 oranında azaltabilirsiniz. Ayrıca Kibana (sürüm 7.10 ve daha eski) veya OpenSearch Dashboards arabiriminizdeki verileri kolayca sorgulayabilir ve görselleştirebilirsiniz. Arşivlenmiş günlükleri geri yüklemek için saatler veya günler harcamadan hem son (haftalar) hem de geçmiş (aylar veya yıllar) günlük verilerinizi analiz edin.

S: UltraWarm nedir?

UltraWarm, OpenSearch Hizmeti için tam olarak yönetilen, düşük maliyetli, yarı sıcak bir depolama katmanıdır. OpenSearch, Elasticsearch (7.10 sürümüne kadar), OpenSearch Dashboards ve Kibana (7.10 sürümüne kadar) ile uyumludur ve bugün OpenSearch Hizmeti'nin sağladığı araçları kullanarak verileri analiz etmenize yardımcı olur. UltraWarm, entegre uyarı, SQL sorgulama ve daha fazlası gibi mevcut OpenSearch Hizmeti özellikleriyle sorunsuz bir şekilde entegre olur. 

S: UltraWarm'u neden kullanmalıyım?

UltraWarm, OpenSearch Hizmeti'nde analiz etmek istediğiniz verileri uygun maliyetli bir şekilde genişletmenize yardımcı olur. Daha önce silinmiş veya arşivlenmiş olabilecek veriler hakkında değerli bilgiler edinebilirsiniz. UltraWarm sayesinde artık verilerinizin daha büyük bir kısmını ekonomik olarak saklayabilir ve istediğiniz zaman etkileşimli bir şekilde analiz edebilirsiniz.

S: UltraWarm ile OpenSearch Hizmeti'nin ilişkisi nedir ve birlikte nasıl çalışırlar?

OpenSearch Hizmeti, sıcak ve UltraWarm olmak üzere iki tümleşik depolama katmanını destekler. Etkin katman, indeksleme, güncelleme ve verilere en hızlı erişimi sağlamak için kullanılan veri düğümleri tarafından desteklenmektedir. UltraWarm düğümleri, daha eski ve daha seyrek erişilen veriler için düşük maliyetli, salt okunur bir katman sağlayarak etkin katmanı tamamlar.

S: UltraWarm, dayanıklılık için neden sadece birincil verilere ihtiyaç duyar?

UltraWarm, depolama için yüzde 99,999999999 dayanıklılık için tasarlanmış ve sıcak verileriniz için bir Elasticsearch replikası yapılandırma ihtiyacını ortadan kaldıran Amazon S3'ü kullanır. Ek olarak, bir düğüm hatasıyla karşılamanız durumunda, birden fazla UltraWarm düğümünüz varsa diğer UltraWarm düğümleri gereken verilere otomatik olarak erişir.

S: UltraWarm'da ne kadar veri depolayabilirim?

UltraWarm, 3 PB'a kadar birincil veriyi destekler. UltraWarm, bu depolamanın %100'ünü tam olarak kullanmanıza izin verecek şekilde tasarlanmıştır. Ayrıca UltraWarm, verileri dayanıklılık için Amazon S3'te depoladığından Elasticsearch replikaları için ek depolama kullanmanız gerekmez.

S: UltraWarm'un performans özellikleri nelerdir?

UltraWarm, yerel depolama alanının kullanıldığı yüksek yoğunluklu bulut sunucularına benzer bir performans ortaya koymak için ayrıntılı G/Ç önbelleğe alma, önceden getirme ve sorgu altyapısı optimizasyonları uygulayarak OpenSearch Dashboards ve Kibana'da etkileşimli bir deneyim sunar.

S: UltraWarm'u kullanmaya nasıl başlarım?

UltraWarm'u kullanmaya başlamak için konsol, CLI veya API'ler aracılığıyla UltraWarm'un etkinleştirildiği yeni bir OpenSearch Hizmeti etki alanı oluşturun. Etki alanınız oluşturulduktan sonra OpenSearch/Elasticsearch API'lerini kullanarak verileri sıcaktan UltraWarm'a taşıyabilirsiniz. Daha fazla bilgi için OpenSearch Hizmeti Geliştirici Kılavuzu'na bakın.

Soğuk depolama, OpenSearch Hizmeti için en düşük maliyetli depolama seçeneğidir ve Amazon S3'te nadiren erişilen verileri saklamanıza ve yalnızca ihtiyaç duyduğunuzda bilgi işlem için ödeme yapmanıza olanak tanır. Soğuk depolama, verileri Amazon S3'te depolayan özel düğümler sağlayan ve etkileşimli bir deneyim sunmak için gelişmiş bir önbelleğe alma çözümü kullanan UltraWarm'a dayanır. Soğuk depolama, bilgi işlem kaynaklarını depolamadan ayırarak OpenSearch Hizmeti etki alanınızdaki herhangi bir miktarda veriyi saklamanıza yardımcı olurken GB başına maliyeti neredeyse Amazon S3 depolama fiyatlarına düşürür. Kullanmadığınızda eski veya sık erişilmeyen yarı sıcak verileri ayırın ve işlem kaynaklarını boşa çıkararak maliyetleri azaltmaya yardımcı olun. Seçtiğiniz Kibana (sürüm 7.10 ve daha eski) veya OpenSearch Dashboards arabirimi ve kullanımı kolay API'ler ile soğuk verilerinizi saniyeler içinde keşfedin ve etki alanınızın UltraWarm düğümlerine seçerek ekleyin. Soğuk depolamada, yarı sıcak verilerinizdekine benzer bir etkileşimli deneyim ve performans ile ekli soğuk verileri sorgulayabilirsiniz.

S: Soğuk depolama nedir?

Soğuk depolama, isteğe bağlı olarak geçmiş günlüklerinizi güvenli bir şekilde depolamanızı ve analiz etmenizi kolaylaştıran, OpenSearch Hizmeti için tam olarak yönetilen en düşük maliyetli bir depolama katmanıdır. Soğuk depolama, aktif olarak veri analizi yapmadığınız zamanlarda depolamayı bilgi işlemden tamamen ayırmanıza yardımcı olur ve verilerinizi düşük maliyetle hazır hâlde tutmanıza olanak tanır. Soğuk depolama verileri, UltraWarm düğümleriniz aracılığıyla OpenSearch Service etki alanında kullanılabilir. Soğuk depolama, OpenSearch ve OpenSearch Dashboards'un yanı sıra Elasticsearch (7.9 ve 7.10 sürümleri) ve Kibana (7.9 ve 7.10 sürümleri) ile sorunsuz bir şekilde entegre olur. Bugün OpenSearch Hizmeti'nin sağladığı araçları kullanarak verileri analiz etmenize yardımcı olur.

S: Neden soğuk depolama kullanmalıyım?

Soğuk depolama, OpenSearch Hizmeti’nde analiz etmek istediğiniz verileri uygun maliyetli bir şekilde genişletmenize ve daha önce silinmiş veya arşivlenmiş olabilecek veriler hakkında değerli bilgiler edinmenize yardımcı olur. Eski verileriniz üzerinde araştırma veya adli analiz yapma gereksiniminiz varsa ve bunu yapmak için OpenSearch Hizmeti'nin tüm özelliklerini uygun bir fiyata kullanmak istiyorsanız soğuk depolama çok uygundur. Soğuk depolama, ölçek için oluşturulmuştur ve Amazon S3 tarafından desteklenmektedir. İhtiyacınız olan verileri bulun ve keşfedin, kümenizdeki UltraWarm düğümlerine ekleyin ve saniyeler içinde analiz için kullanılabilir hâle getirin. Eklenen soğuk veriler; dizin, belge ve alan düzeyinde erişimi sınırlandıran mevcut ayrıntılı erişim denetimi politikalarına tabidir.

S: Soğuk depolama ile Amazon OpenSearch Hizmeti'nin ilişkisi nedir ve birlikte nasıl çalışırlar?

OpenSearch Hizmeti, soğuk depolama ile üç entegre depolama katmanını destekler: sıcak, UltraWarm ve soğuk. Sıcak katman, verileri dizine eklemek, güncellemek ve verilere en hızlı erişimi sunmak için kullanılır. Şu anda tek bir etki alanı içerisinde 3 PB'a kadar veri destekleyen UltraWarm, Amazon S3'te dayanıklı bir şekilde depolanan ve kalıcı bir şekilde erişilebilir olması gereken veriler için yüksek performansa sahip, etkileşimli bir deneyim sağlayan işlem düğümleri sunarak sıcak katmanın sorunsuz bir uzantısı olarak faaliyet gösterir. Soğuk depolamada, kullanmadığınız dizinleri UltraWarm'dan çıkarabilir ve işlem kaynaklarını boşa çıkararak maliyetleri azaltmaya yardımcı olabilirsiniz. Soğuk depolama API'leri ve OpenSearch Dashboards ve Kibana arayüzü ile analiz için ihtiyaç duyduğunuz şeyi kolayca bulmak için indeks modellerine ve veri zaman damgalarına dayalı indeksleri keşfedebilirsiniz. Bu veriler daha sonra etki alanına eklenebilir ve saniyeler içinde analize hazır hâle gelir. Analiziniz bittiğinde bilgisayarınızda tekrar yer açmak için verileri ayırmanız yeterlidir. 

S: Soğuk depolamada ne kadar veri depolayabilirim?

Soğuk depolama, ölçek için oluşturulmuştur. Sıcak ve yarı sıcak veriler için depolama limitleri 3 PB'de kalırken istediğiniz miktarda veriyi soğuk depolamada saklayabilirsiniz.

S: Soğuk depolamanın performans özellikleri nelerdir?

Soğuk depolama, verileri Amazon S3'te depolayan özel düğümler sağlayan ve etkileşimli bir deneyim sunmak için gelişmiş bir önbelleğe alma çözümü kullanan UltraWarm'a dayanır. Soğuk veriler, önce OpenSearch Hizmeti etki alanınızın UltraWarm düğümlerine eklenmelidir. Eklendikten sonra bu verilere ilişkin sorgular sıcak verilerinizle aynı performansı sunan mevcut UltraWarm düğümleri tarafından desteklenir. İstenen veriler için yeterli UltraWarm alanı varsa soğuk dizinleri etki alanınıza eklemek saniyeler sürer. Daha fazla alana ihtiyaç duyarsanız UltraWarm veri düğümleri eklemeniz gerekir. Bu işlem, birkaç dakika sürebilir.

OpenSearch Hizmeti, veri tabanı aramasının ötesine uzanan, gerçek zamanlı belge arama özellikleri sağlar. Tam olarak yönetilen bu hizmet, arama için OpenSearch altyapısını kullanır. OpenSearch; anahtar kelime aramayı, doğal dilde aramayı, eş anlamlı sözcükleri, birden fazla dili ve daha fazlasını destekleyen tam özellikli, Lucene tabanlı, taşınabilir, platformdan bağımsız açık kaynaklı bir arama altyapısıdır. Temel arama yetenekleri şunları içerir:

• Bir veri tabanından veya içerik yönetim sisteminden, bir web veya intranet gezgininden veya bir akış hizmetinden veri alır
  
• Arama hizmetlerinin üstünde bir ön uç oluşturmak için arama API'leri sağlar
  
• Aramaları birçok öznitelikte destekler
  
• İleriye dönük arama (süzme) sayesinde, kaydedilmiş sorgular kümesiyle eşleşen yeni belgeler bulur
  
• Kullanım örüntülerini değerlendirir ve OpenSearch Hizmeti izleme özellikleriyle kapasite planlaması ve maliyet tahmini gerçekleştirir
  
• Vektör araması, benzerlik araması, semantik arama ve daha fazlasını gerçekleştirmek için k-en yakın komşu (k-NN) araması için yerleşik makine öğrenimi (ML) algoritmalarını kullanır
• Alaka düzeyi puanlarını hesaplamak için Sıralama Amaçlı Öğrenme için yerleşik makine öğrenimi algoritmalarını kullanır
  
• ML ile arttırılmış arama deneyimlerini ve üretici yapay zekâ uygulamalarını desteklemek için basit, ölçeklenebilir ve yüksek performanslı vektör depolama ve arama sağlar
• SQL dâhil olmak üzere birden fazla sorgu dili kullanır
  

Arama kaynakları

Güvenlik operasyonları (SecOps) ekiplerinizin potansiyel tehditleri hızlı bir şekilde tespit etmesine yardımcı olurken, tümü düşük veri saklama maliyetleriyle güvenlik soruşturmalarına yardımcı olacak araçlara sahip olun. İş verilerinizi güvence altına alın ve olası güvenlik tehditlerini hızla tespit edin. OpenSearch Hizmeti, güvenlik bulgularını filtreleyerek potansiyel güvenlik tehditlerini tespit etmek için 2.200'den fazla açık kaynaklı Sigma güvenlik kuralı için kullanıma hazır destek sağlar. Potansiyel güvenlik tehditlerini hızlı bir şekilde tespit etmek ve önceden seçilmiş bir hedefe uyarılar göndermek için varsayılan Sigma kurallarını bile özelleştirebilir veya kullanabilirsiniz. Windows, Netflow, AWS CloudTrail, DNS ve daha fazlası dâhil olmak üzere birden çok günlük kaynağı için kullanıma hazır destekten yararlanın. 

S: Güvenlik analizi nedir?

OpenSearch güvenlik analizi, iş açısından kritik işlevlerin operasyonlarını tehlikeye atabilecek güvenlik tehditlerini araştırmaya, tespit etmeye, analiz etmeye ve bunlara yanıt vermeye yardımcı olmak için tasarlanmıştır. Bu tehditlerden bazıları gizli verilerin olası açığa çıkması, siber saldırılar ve diğer olumsuz güvenlik olaylarıdır. Algılama parametrelerini tanımlamak, uyarılar oluşturmak ve olası tehditlere etkili bir şekilde yanıt vermek için gerekli araçları ve özellikleri içerir.

S: Güvenlik analizi hangi tür güvenlik günlüklerini destekler?

Şu anda NetFlow, DNS günlükleri, Apache erişim günlükleri, Windows günlükleri, AD/LDAP günlükleri, Linux sistem günlükleri, AWS CloudTrail günlükleri ve Amazon S3 erişim günlükleri dâhil olmak üzere sekiz günlük türünü destekliyoruz

S: Bu güvenlik günlüklerini OpenSearch'e nasıl gönderebilirim?

Biçimlendirilmiş JSON verilerini OpenSearch'e gönderen mevcut alma işlem hatlarınızı kullanabilirsiniz.

S: Güvenlik analizi güvenlik kurallarını kullanıma hazır olarak mı sağlar? 

Evet, OpenSearch güvenlik analizi, farklı türdeki güvenlik algılayıcılarıyla 2,200'den fazla kullanıma hazır Sigma güvenlik kuralı içerir. Günlük kaynağı hakkında minimum yapılandırma sağladığınızda bu kurallar önceden seçilir.

S: Kendi özel kurallarımı oluşturabilir miyim?

Evet, yukarıdaki desteklenen günlük türleri için özel kurallar eklenebilir. Bu kurallar, Sigma kural biçiminde olmalıdır ve bir güvenlik algılayıcısıyla kullanmadan önce OpenSearch'e aktarılabilir.

S: Günlükleri belirli bir biçime veya şemaya dönüştürmem gerekir mi? 

Evet, günlüklerin JSON biçiminde olması gerekir. Bunları ECS (Esnek Ortak Şema) biçiminde göndermenizi öneririz.

S: Güvenlik analizlerini kullanmak için ek lisans ücretleri ödemem gerekiyor mu? 

OpenSearch güvenlik analizi, ek maliyet veya lisans ücretleri olmadan kullanımınıza sunulur. OpenSearch Hizmeti'ne diğer verileri alırken ödediğiniz aynı ücretleri ödersiniz. 

S: OpenSearch Hizmeti'nin hangi sürümü güvenlik analizini destekliyor? 

Güvenlik Analizi, OpenSearch 2.5 veya üzeri bir sürümü çalıştıran OpenSearch Hizmeti ile önceden yüklenmiş olarak sunulur.

S: OpenSearch güvenlik analizi ile Amazon Security Lake arasında herhangi bir fark var mıdır? 

Amazon Güvenlik Gölü; bulut, şirket içi ve özel kaynaklardan gelen güvenlik verilerini hesabınızda depolanan amaca yönelik oluşturulmuş bir veri gölünde otomatik olarak merkezileştirir. Bu toplanan veriler, S3 klasörlerinde saklanan ortak bir biçimde normalleştirilir. Bu veriler, raporları görselleştirmenize, sorgulamanıza ve oluşturmanıza izin veren OpenSearch Hizmeti'ne alınabilir. Güvenlik analizi, olası güvenlik olaylarını tespit etmenize ve uyarıda bulunmanıza yardımcı olabilecek bir güvenlik kuralları altyapısı sağlamanın yanı sıra bunları, araştırmanıza yardımcı olacak şekilde ilişkilendirmenize yardım eder.

S: OpenSearch güvenlik analizlerini Amazon Security Lake ile kullanabilir miyim? 

Evet, Güvenlik Gölü'nden OpenSearch'e ek günlükler getirebilirsiniz ve alınan günlüklerde ilgili kuralları çalıştırmak için bir algılayıcı oluşturabilirsiniz.

OpenSearch Hizmeti özellik ayrıntıları:

• Maliyet bilinçli
• Entegrasyonlar
• Yönetilen Hizmet
• Sunucusuz
• Gözlemlenebilirlik
• Güvenlik