Ön izleme: Amazon OpenSearch Serverless – Kümeleri Yönetmeden Arama ve Analitik İş Yüklerini Çalıştırın

Orijinal makale: Link (Channy Yun)

Çoğu AWS analitik hizmeti, müşterilerin temel altyapıyı yapılandırmak, ölçeklendirmek veya yönetmek zorunda kalmadan çok büyük miktarda veriyi analiz etmesini daha da kolaylaştıran ilgi çekici sunucusuz tekliflere sahiptir.

İş zekası için Amazon QuickSight ve veri entegrasyonu için AWS Glue gibi diğer sunucusuz analitiklerin yanı sıra bu yıl Amazon EMR Serverless, Amazon MSK Serverless ve Amazon Redshift Serverless‘ı kullanıma sunduk.

Bugün, müşterilerin kümeleri yönetmeden büyük ölçekli arama ve analiz iş yüklerini çalıştırmasını kolaylaştıran, Amazon OpenSearch Service için yeni bir sunucusuz seçeneğin ön izleme sürümünü duyuruyoruz. En zorlu ve öngörülemeyen iş yükleri için bile hızlı veri alımı ve sorgu yanıtları sağlamak için temel kaynakları otomatik olarak sağlar ve ölçeklendirir, kümeleri yapılandırma ve optimize etme ihtiyacını ortadan kaldırır.

Amazon OpenSearch Serverless ile sorguların sıklığı ve karmaşıklığı ya da analiz edilmesi beklenen veri hacmi gibi önceden bilinmesi zor olan faktörleri hesaba katmanız gerekmez. Altyapıyı yönetmek yerine, verilerinizden bilgi edinmek ve keşfetmek için OpenSearch’ü kullanmaya odaklanabilirsiniz. Ayrıca verileri yüklemek ve sorgulamak için tanıdık API’ları kullanmaya başlayabilir ve etkileşimli veri analizi ve görselleştirme için OpenSearch Dashboards’u kullanabilirsiniz.

OpenSearch Serverless Koleksiyonunuzu Yapılandırın
Amazon OpenSearch Serverless’ı kullanmaya başlamak için AWS Management Console, AWS Komut Satırı Arayüzü (AWS CLI) veya AWS API aracılığıyla bir Collection (Koleksiyon) oluşturursunuz.

OpenSearch Serverless piyasaya sürülmeden önce, sunucu türleri, sayıları ve depolama seçeneklerini belirterek yönetilen bir küme oluşturdunuz ve ardından bu küme içindeki dizinler için yaşam döngüsünü ve parça stratejisini yönettiniz. OpenSearch Serverless ile, belirli bir iş yükünü desteklemek için birlikte çalışan bir dizin grubunu yöneten bir Collection oluşturursunuz. Artık donanımı belirtmeniz veya dizinleri doğrudan yönetmeniz gerekmez.

Bir OpenSearch Serverless koleksiyonu ve güvenli veriler oluşturmak için AWS KMS anahtarlarını bir veya daha fazla koleksiyona atamak üzere Encryption policies (Şifreleme politikaları) ayarlayın ve belirtilen VPC’lerden ve genel IP adreslerinden erişimi kontrol etmek için koleksiyonlara Network policies (Ağ politikaları) ekleyin.

Bir şifreleme politikası oluşturmak için sol gezinme bölmesinde Encryption policies ve Create encryption policy seçin. Durağan şifreleme (encryption at rest), koleksiyonunuzdaki dizinleri korur. AWS KMS, her koleksiyon için benzersiz, simetrik bir şifreleme anahtarı oluşturur. Şifreleme politikaları, AWS KMS anahtarlarını birden çok koleksiyonda yönetmenin en uygun yoludur. Hedef koleksiyon adını veya bu politikadaki şifreleme ayarlarını koleksiyona otomatik olarak uygulayan bir ön ek tanımlayabilirsiniz.

Kullanıcıların bir koleksiyona erişmesi için sol gezinme bölmesinde Network policies ve Create network policy seçin. Ağ politikaları, koleksiyonunuza genel ağlardan internet üzerinden erişilip erişilemeyeceğini veya OpenSearch Serverless yönetilen VPC uç noktaları aracılığıyla erişilmesi gerekip gerekmediğini belirler.

Access Type (Erişim Türü) için önerilen bir seçenek olarak, Public veya VPC olmak üzere her koleksiyon için birden çok kural tanımlayabilirsiniz. Herkese açık bir seçenek seçerseniz, koleksiyona OpenSearch Dashboards’tan erişebilirsiniz.

Ayrıca, OpenSearch Dashboards ve OpenSearch uç noktası için erişimi yapılandırabilirsiniz. Resource type (Kaynak türü) için hem “Access to OpenSearch endpoints” hem de “Access to OpenSearch Dashboards” seçeneklerini etkinleştirin. Her iki giriş kutusunda da Collection Name özelliğini ve koleksiyon adınızı veya ön ekinizi seçin.

Son olarak, OpenSearch Serverless bir koleksiyon oluşturmak için ana sayfada Create collection‘ı seçin veya sol gezinme bölmesinde Collections seçin ve Create collection seçin.

Koleksiyon adınızı, açıklamanızı ve koleksiyon türünüzü girin (veri türünüze göre Time series veya Search seçin).

Time series – Operasyonel, güvenlik, kullanıcı davranışı ve iş içgörüleri için büyük hacimli yarı yapılandırılmış, makine tarafından oluşturulan verileri gerçek zamanlı olarak analiz etmeye odaklanan log analitiği segmenti.
Search – Dahili ağlarınızdaki uygulamalara (içerik yönetim sistemleri, yasal belgeler) ve e-ticaret web sitesi araması ve içerik araması gibi internete yönelik uygulamalara güç veren tam metin araması.

Create‘i seçtiğinizde, bir koleksiyonun başlatılması genellikle bir dakikadan az sürer.

Koleksiyonunuzdaki Verileri Yükleyin ve Arayın
Koleksiyonunuzdaki verileri yüklemeden ve aramadan önce, bir koleksiyon içindeki gerçek verilere erişmek için IAM politikasını yapılandırın. Sol gezinti bölmesinde Data access policies ve ardından Create data access policy seçin.

Aynı kaynağa aynı anda birden çok politika uygulayabilirsiniz. Her politika bir dizi kural içerir. Her kuralın bir kaynağı (koleksiyon veya dizin), kaynak için izinleri ve bir sorumlular listesi (IAM kullanıcıları, rol ARN’leri veya SAML kimlikleri) vardır.

Burada, koleksiyonunuzda bir dizin oluşturmak, bazı verileri dizine eklemek ve aramak için gereken minimum izinleri tek bir kullanıcıya sağlayan örnek bir ilke verilmiştir. Sorumlu ARN’i (aşağıda kırmızı renk ile belirtilen), OpenSearch Dashboards’ta oturum açmak için kullanacağınız hesabın ARN’i ile değiştirin.

[
  {
    "Rules": [
      {
        "ResourceType": "index",
        "Resource": [
          "index/books/*"
        ],
        "Permission": [
          "aoss:CreateIndex",
          "aoss:ReadDocument",
          "aoss:UpdateIndex",
          "aoss:DeleteIndex",
          "aoss:WriteDocument"
        ]
      }
    ],
    "Principal": [
      "arn:aws:iam::123456789012:user/admin"
    ]
  }
]

Artık Postman veya curl kullanarak OpenSearch Serverless koleksiyonuna veri yükleyebilirsiniz. Dev Tools’u (Geliştirme Araçları) OpenSearch Dashboards konsolunda da kullanabilirsiniz. Koleksiyonunuzun ayrıntılar sayfasında OpenSearch Dashboards‘u seçin.

Veri erişim politikanızda belirttiğiniz sorumlu için AWS erişimini ve gizli anahtarları kullanarak OpenSearch Dashboards’ta oturum açın. OpenSearch Dashboards içinde, sol gezinme menüsünü açın ve Dev Tools‘u seçin.

books-index adlı tek bir dizin oluşturmak için, PUT books-index‘i çalıştırın ve ilk tek belgenizi books-index’e dizin.

Arama verilerini Dev Tools’ta da sorgulayabilirsiniz.

GET books-index/_search
{
    "query": {
    "simple_query_string": {
    "query": "Jeff",
    "fields": ["author"]
    } 
  }
}

Zaman serisi verileri söz konusu olduğunda, yerel OpenSearch streming API’ları, Amazon Kinesis Data Firehose, AWS Glue ve Logstash, FluentBit, Fluentd ve Data Prepper gibi çok çeşitli açık kaynaklı akış alım işlem hatları gibi tüm akış alım seçenekleriyle veri alabilirsiniz.

Ayrıca OpenSearch Service üzerindeki yönetilen bir kümeden verilerinizin anlık görüntüsünü alabilir ve koleksiyonunuza geri yükleyerek iş yüklerinizi taşımayı kolaylaştırabilirsiniz. Verileriniz koleksiyonunuza girdikten sonra, favori OpenSearch istemcinizi kullanarak sorgulayabilir ve OpenSearch Dashboards kullanarak verilerinizi etkileşimli olarak analiz edip görselleştirebilirsiniz.

Bilmeniz Gerekenler
Amazon OpenSearch Serverless’ı seçtiğinizde ek özellikler ve dikkate alınması gereken hususlar hakkında aklınızda bulundurmanız gereken birkaç şey:

SAML Kimlik Doğrulamaları – OpenSearch Serverless SAML kimlik doğrulamasının OpenSearch Dashboards uç noktaları için çoklu oturum açma (SSO) sunmak üzere mevcut kimlik sağlayıcınızı kullanabilirsiniz, verileri indekslemek ve aramak için OpenSearch Dashboards’ta oturum açmak üzere üçüncü taraf kimlik sağlayıcıları kullanmanıza olanak tanır. OpenSearch Serverless, Okta, Keycloak, Active Directory Federasyon Hizmetleri ve Auth0 gibi SAML 2.0 standardını kullanan sağlayıcıları destekler.
Özel VPC Uç Noktaları – VPC’niz ile OpenSearch Serverless arasında özel bir bağlantı oluşturmak için AWS PrivateLink‘i kullanabilirsiniz. Koleksiyonlarınıza internet ağ geçidi, NAT cihazı, VPN bağlantısı veya AWS Direct Connect bağlantısı kullanmadan VPC’nizdeymiş gibi erişebilirsiniz. Bir arabirim uç noktası oluşturmak için OpenSearch Service’in sol gezinti bölmesinde VPC endpoints seçin.
Yönetilen Kümeler – Küme yapılandırması veya belirli özelleştirmeler üzerinde sıkı kontrole ihtiyaç duyduğunuz senaryolarda Amazon OpenSearch Service’in yönetilen kümelerinden bir seçeneği kullanmayı tercih edebilirsiniz. Örneğin, iş yükleriniz, hızlandırılmış bilgi işlem bulut sunucularında en iyi şekilde çalışan özel eklentilere ihtiyaç duyabilir ve veri parçalama stratejisi gibi yapılandırma üzerinde daha fazla kontrole ihtiyaç duyabilir. İş yükünüzün gereksinimlerine göre sağlanan sunucuları veya sunucusuzu seçebilirsiniz.

Ön İzlemeye Katılın
Amazon OpenSearch Serverless‘ın ön izleme sürümü şu anda US East (N. Virginia, Ohio), US West (Oregon), EU (Ireland), Asia Pacific (Tokyo) bölgelerinde kullanıma sunuldu. OpenSearch Serverless ile ön maliyet yoktur ve yalnızca alınan veriler ve çalıştırdığınız sorgular için ödeme yaparsınız. Fiyatlandırma ayrıntıları için OpenSearch Service fiyatlandırma sayfasına bakın. Daha fazla bilgi edinmek için Amazon OpenSearch Service Kullanım Kılavuzunu ziyaret edin.

Ön izleme sırasında daha fazla geri bildirim duymak istiyoruz. Lütfen AWS re:Post for Amazon OpenSearch Service‘e veya her zamanki AWS destek kişileriniz aracılığıyla geri bildirim gönderin.

– Channy

AWS Türkçe Blog

Ön izleme: Amazon OpenSearch Serverless – Kümeleri Yönetmeden Arama ve Analitik İş Yüklerini Çalıştırın