Amazon Web Services ブログ

プレビュー:Amazon OpenSearch サーバーレス — クラスターを管理せずに検索と分析のワークロードを実行

ほとんどの AWS 分析サービスには魅力的なサーバーレスサービスがあり、基盤となるインフラストラクチャを設定、スケーリング、管理しなくても、顧客は膨大な量のデータをさらに簡単に分析できます。

ビジネスインテリジェンス向けの Amazon QuickSight やデータ統合のための AWS Glue などの他のサーバーレス分析とともに、今年は Amazon EMR サーバレス、 Amazon MSK サーバーレス、 Amazon Redshift サーバーレスを導入しました。

2022/11/29、 Amazon OpenSearch Service の新しいサーバーレスオプションのプレビューリリースを発表しました。これにより、お客様はクラスターを管理しなくても大規模な検索および分析ワークロードを簡単に実行できます。基盤となるリソースを自動的にプロビジョニングおよびスケーリングして、最も要求の厳しい予測不可能なワークロードでもデータインジェストとクエリ応答を迅速に提供するため、クラスターの構成と最適化は不要です。

Amazon OpenSearch サーバーレス では、クエリの頻度や複雑さ、分析される予定のデータ量など、事前に把握するのが難しい要素を考慮する必要はありません。インフラストラクチャを管理する代わりに、OpenSearch を使用してデータを探索し、そこから洞察を引き出すことに集中できます。使い慣れた API を使用してデータのロードとクエリを開始したり、OpenSearch Dashboards を使用してインタラクティブなデータ分析と視覚化を行ったりすることもできます。

OpenSearch サーバーレスコレクションの設定
Amazon OpenSearch サーバーレスを開始するには、 AWS マネジメントコンソール、AWS コマンドラインインターフェイス (AWS CLI)、または AWS API を使用してコレクションを作成します。

OpenSearch サーバーレスをリリースする前は、マネージドクラスターを作成してインスタンスタイプ、カウント、ストレージオプションを指定し、そのクラスター内のインデックスのライフサイクルとシャードストラテジーを管理していました。OpenSearch サーバーレスでは、特定のワークロードをサポートするために連携するインデックスのグループを管理するコレクションを作成します。ハードウェアを指定したり、インデックスを直接管理したりする必要はなくなりました。

OpenSearch サーバーレスコレクションを作成してデータを保護するには、暗号化ポリシーを設定して AWS KMS キーを 1 つ以上のコレクションに割り当てて、ネットワークポリシーをコレクションにアタッチして、指定した VPC とパブリック IP アドレスからのアクセスを制御します。

暗号化ポリシーを作成するには、左側のナビゲーションペインで [暗号化ポリシー] を選択し、[暗号化ポリシーの作成] を選択します。保存時の暗号化により、コレクション内のインデックスが保護されます。コレクションごとに、AWS KMS は固有の対称暗号化キーを生成します。暗号化ポリシーは、複数のコレクションにわたる AWS KMS キーを管理する最適な方法です。このポリシーの暗号化設定をコレクションに自動的に適用するターゲットコレクション名またはプレフィックスを定義できます。

ユーザーがコレクションにアクセスするには、左側のナビゲーションペインで [ネットワークポリシー] を選択し、[ネットワークポリシーの作成] を選択します。ネットワークポリシーは、パブリックネットワークからインターネット経由でコレクションにアクセスできるようにするか、OpenSearch サーバーレス管理の VPC エンドポイント経由でアクセスする必要があるかを決定します。

アクセスタイプの推奨オプションとして、コレクションごとに複数のルール（パブリックまたは VPC）を定義できます。パブリックオプションを選択すると、OpenSearch ダッシュボードからコレクションにアクセスできます。

また、OpenSearch ダッシュボードと OpenSearch エンドポイントへのアクセスを設定できます。リソースタイプでは、OpenSearch エンドポイントへのアクセスと OpenSearch ダッシュボードへのアクセスの両方を有効にします。両方の入力ボックスで、コレクション名プロパティとコレクション名またはプレフィックスを選択します。

最後に、OpenSearch サーバーレスコレクションを作成するには、ホームページで [コレクションの作成] を選択するか、左側のナビゲーションペインで [コレクション] を選択して [コレクションの作成] を選択します。

コレクション名、説明、コレクションタイプ（[時系列] または [データタイプで検索] のいずれか）を入力します。

  • 時系列 — 運用、セキュリティ、ユーザー行動、ビジネス上の洞察を得るために、機械生成の大量の半構造化データをリアルタイムで分析することに重点を置くログ分析セグメント。
  • 検索 — 社内ネットワーク（コンテンツ管理システム、法的文書）内のアプリケーションや、電子商取引のウェブサイト検索やコンテンツ検索などのインターネット向けアプリケーションを強化するフルテキスト検索です。

Create を選択すると、コレクションの初期化には通常 1 分もかかりません。

コレクション内のデータをアップロードして検索する
コレクション内のデータをアップロードして検索する前に、コレクション内の実際のデータにアクセスするように IAM ポリシーを設定します。左側のナビゲーションペインで [データアクセスポリシー] を選択し、[データアクセスポリシーの作成] を選択します。

同じリソースに複数のポリシーを同時に適用できます。各ポリシーには一連のルールが含まれています。各ルールには、リソース (コレクションまたはインデックス)、リソースに対する権限、およびプリンシパルのリスト (IAM ユーザー、ロール ARN、または SAML ID) があります。

以下は、コレクション内のインデックスの作成、一部のデータのインデックス作成、検索に必要な最低限の権限を 1 人のユーザーに提供するサンプルポリシーです。プリンシパル ARN を OpenSearch ダッシュボードへのサインインに使用するアカウントの ARN に置き換えます。

[
  {
    "Rules": [
      {
        "ResourceType": "index",
        "Resource": [
          "index/books/*"
        ],
        "Permission": [
          "aoss:CreateIndex",
          "aoss:ReadDocument",
          "aoss:UpdateIndex",
          "aoss:DeleteIndex",
          "aoss:WriteDocument"
        ]
      }
    ],
    "Principal": [
      "arn:aws:iam::123456789012:user/admin"
    ]
  }
]

Postman または curl を使用して OpenSearch サーバーレスコレクションにデータをアップロードできるようになりました。OpenSearch ダッシュボードコンソール内で開発ツールを使用することもできます。コレクションの詳細ページで「OpenSearch ダッシュボード」を選択します。

データアクセスポリシーで指定したプリンシパルの AWS アクセスキーとシークレットキーを使用して OpenSearch Dashboards にサインインします。OpenSearch ダッシュボード内で、左側のナビゲーションメニューを開き、「開発ツール」を選択します。

books-index という名前の 1 つのインデックスを作成するには、 PUT books-index を実行して、最初の 1 つのドキュメントを books-index にインデックスします。

Dev Toolsで検索データをクエリすることもできます。

GET 書籍_インデックス/_検索
{
    "query": {
    「シンプルなクエリ文字列」: {
    「クエリ」:「ジェフ」,
    「フィールド」: ["著者"]
    } 
  }
}

時系列データの場合は、ネイティブ OpenSearch ストリーミング API、 Amazon Kinesis Data Firehose、 AWS Glue、Logstash、FluentBit、Fluentd、Data Prepper などのさまざまなオープンソースのストリーミング取り込みパイプラインなど、すべてのストリーミング取り込みオプションを使用してデータを取り込むことができます。

さらに、OpenSearch Service 上の管理対象クラスターからデータをスナップショットしてコレクションに復元できるため、ワークロードを簡単に移行できます。データがコレクションに追加されたら、お気に入りのOpenSearchクライアントを使用してデータをクエリし、OpenSearch Dashboardsを使用してデータをインタラクティブに分析および視覚化できます。

留意点
Amazon OpenSearch サーバーレスを選択する際のその他の機能や考慮事項について留意すべき点がいくつかあります。

  • SAML A 認証 — 既存のアイデンティティープロバイダーを使用して OpenSearch ダッシュボードエンドポイントにシングルサインオン (SSO) を提供できます。OpenSearch サーバーレス SAML 認証では、サードパーティーのアイデンティティープロバイダーを使用して OpenSearch ダッシュボードにサインインし、データのインデックス作成と検索を行うことができます。OpenSearch サーバーレスは、Okta、Keycloak、Active Directory フェデレーションサービス、Auth0 などの SAML 2.0 標準を使用するプロバイダーをサポートしています。
  • プライベート VPC エンドポイント — AWS PrivateLink を使用して VPC と OpenSearch サーバーレス間のプライベート接続を作成できます。インターネットゲートウェイ、NAT デバイス、VPN 接続、または AWS Direct Connect 接続を使用せずに、VPC 内にあるかのようにコレクションにアクセスできます。インターフェイスエンドポイントを作成するには、OpenSearch Service の左側のナビゲーションペインで VPC エンドポイントを選択します。
  • マネージドクラスター — クラスター設定や特定のカスタマイズを厳密に制御する必要があるシナリオでは、Amazon OpenSearch Service のマネージドクラスターのオプションを使用することをお勧めします。たとえば、ワークロードには、高速コンピューティングインスタンスで最適に動作するカスタムプラグインが必要で、データシャーディング戦略などの構成をより細かく制御する必要がある場合があります。ワークロードの要件に応じて、プロビジョニングされたインスタンスまたはサーバーレスのいずれかを選択できます。

プレビューに参加しましょう
Amazon OpenSearch サーバーレス のプレビューリリースは、米国東部 (バージニア北部、オハイオ)、米国西部 (オレゴン)、欧州 (アイルランド)、アジアパシフィック (東京) でご利用いただけるようになりました。OpenSearch サーバーレスでは、初期費用は発生せず、インジェストされたデータと実行したクエリに対してのみ支払いが発生します。価格の詳細については、 OpenSearch サービスの料金ページを参照してください。詳細については、 Amazon OpenSearch Serviceユーザーガイドをご覧ください。

プレビュー中に、さらに多くのフィードバックをお聞かせください。AWS re:Post for Amazon OpenSearch Service または通常の AWS サポートの連絡先を通してフィードバックをお寄せください。

– Channy

原文はこちらです。