Amazon OpenSearch Service の特徴

セットアップと設定: Amazon OpenSearch Service は簡単に開始できます。AWS マネジメントコンソールまたは AWS コマンドラインインターフェイス (AWS CLI) を介した単一の API 呼び出しを使用して、Amazon OpenSearch Service クラスターをセットアップおよび設定できます。インスタンスの数、インスタンスタイプ、ストレージオプションを指定し、既存のクラスターをいつでも変更または削除できます。

インプレースアップグレード: Amazon OpenSearch Service により、インプレースバージョンアップグレードを使用して、OpenSearch クラスターと Elasticsearch クラスター (バージョン 7.10 まで) をダウンタイムなしで新しいバージョンに簡単にアップグレードできます。インプレースアップグレードにより、手動でスナップショットを作成し、それを新しいバージョンを実行しているクラスターに復元し、すべてのエンドポイント参照を更新する手間が省けます。

イベントモニタリングとアラート: Amazon OpenSearch Service が組み込みのイベント監視とアラートを提供するようになりました。これにより、クラスターに保存されているデータを監視し、事前に設定されたしきい値に基づいて自動的に通知を送信できます。OpenSearch アラートプラグインを使用して構築されたこの機能を使用すると、Kibana または OpenSearch ダッシュボードインターフェイスと REST API を使用してアラートを設定および管理できます。カスタムウェブフック、Slack、Amazon Simple Notification Service (Amazon SNS)、および Amazon Chime を介して通知を受け取ることができます。また、インスタンスの数、クラスターの健全性、検索可能なドキュメント、CPU、メモリ、および Amazon CloudWatch を介したデータとマスターノードのディスク使用率などのクラスター健全性メトリックを追加料金なしで表示できます。

複数のクエリ言語のサポート: Amazon OpenSearch Service では、OpenSearch クエリのドメイン固有言語 (DSL) に習熟している必要はありません。OpenSearch SQL を使用して SQL クエリを作成するか、パイプ (|) 構文を使用してデータを探索、検出、クエリできるクエリ言語である OpenSearch パイプ処理言語 (PPL) を使用します。OpenSearch ダッシュボードには、SQL および PPL ワークベンチも含まれています。

オープンソースツールとの統合: Amazon OpenSearch Service は、組み込みの OpenSearch ダッシュボードと Kibana (Elasticsearch バージョン 7.10 以前) を提供し、Logstash と統合するため、好みのオープンソースツールを使用してデータを取り込んで視覚化できます。オープンソースの OpenTelemetry 標準に対する Amazon OpenSearch Service のサポートを使用してトレース分析を実行し、既存のコードを引き続き使用して、Elasticsearch API に直接アクセスし、Kuromoji、Phonetic Analysis、Ingest Processor Attachment、Ingest User エージェント Processor、Mapper Murmur3 などのプラグインに直接アクセスできます。

セキュリティ: Amazon OpenSearch Service を使用すると、VPC セキュリティグループまたは IP ベースのアクセスポリシーを使用してネットワークアクセスを設定し、Amazon Virtual Private Cloud (Amazon VPC) から、またはパブリックインターネット経由でマネージド Elasticsearch (バージョン 7.10 以前) または OpenSearch 環境にアプリケーションを安全に接続することができます。また、ユーザーを安全に認証し、Amazon Cognito、AWS Identity and Access Management (IAM)、またはユーザー名とパスワードを使用した基本認証でアクセスをコントロールすることもできます。Amazon OpenSearch Service は、OpenSearch セキュリティプラグインを活用して、インデックス、ドキュメントやフィールドの詳細なアクセス許可を定義できます。読み取り専用ビューと安全なマルチテナントサポートで Kibana を拡張することもできます。Amazon OpenSearch Service は保管中のデータの暗号化機能も内蔵されているため、ドメインに保存されているか、自動スナップショットに保存されている場合でも、ドメイン内のノード間でデータが転送される場合でも、データを保護することができます。Amazon OpenSearch Service は HIPAA に適格で、PCI DSS、SOC、ISO、FedRAMP 標準に準拠しているため、コンプライアンス要件を満たすアプリケーションを簡単に構築できます。

サーバーレス: Amazon OpenSearch Serverless の使用により、自動的にプロビジョニングし、継続的に調整することで、使用パターンや需要の変化に応じて高速なデータインジェストレートとミリ秒単位の応答時間を実現します。

ホットストレージを使用すると、頻繁にアクセスされるデータをすばやく取得できます。ウォームストレージ層である UltraWarm は、アクセス頻度が低く古いデータに安価なストレージを提供すると同時に、インタラクティブなクエリエクスペリエンスを提供することにより、Amazon OpenSearch Service ホットストレージ層を補完します。UltraWarm は Amazon Simple Storage Service (Amazon S3) にデータを保存し、AWS Nitro System 専用の高度に最適化されたカスタムノードを使用して、データのキャッシュ、プリフェッチ、クエリを迅速に行います。

UltraWarm を使用することで、Amazon OpenSearch Service クラスター 1 つで最大 3 PB のデータを保持しながら、ホットストレージ層と比較して 1 GB あたりのコストをほぼ 90% 削減します。Kibana (バージョン 7.10 以前) または OpenSearch ダッシュボードインターフェイスでデータを簡単にクエリして視覚化することもできます。アーカイブログの復元に数時間または数日を費やすことなく、最近 (週) のログデータと過去 (月または年) のログデータの両方を分析します。

Q: UltraWarm とは?

UltraWarm は、Amazon OpenSearch Service の完全マネージド型で低コストのウォームストレージ層です。OpenSearch、Elasticsearch (バージョン 7.10 まで)、OpenSearch ダッシュボード、および Kibana (バージョン 7.10 まで) と互換性があり、Amazon OpenSearch Service が現在提供しているものと同じツールを使用してデータを分析できます。UltraWarm は、統合されたアラート、SQL クエリなど、Amazon OpenSearch Service の既存の機能とシームレスに統合します。 

Q: UltraWarm を使用するメリットは何ですか?

UltraWarm を使用すると、OpenSearch Service で分析したいデータをコスト効率よく拡張できます。以前に削除またはアーカイブされた可能性のあるデータに関する貴重な洞察を得ることができます。UltraWarm を使用すると、より多くのデータを経済的に保持して、必要なときにいつでもインタラクティブに分析できます。

Q: UltraWarm は Amazon OpenSearch Service とどのように関連/連携しますか?

Amazon OpenSearch Service は、2 つの統合ストレージ層、ホットおよび UltraWarm をサポートしています。ホット層は、インデックス作成、更新、およびデータへの最速アクセスを提供するために使用されるデータノードによって強化されます。UltraWarm ノードは、アクセス頻度の低い古いデータに低コストの読み取り専用階層を提供することにより、ホット層を補完します。

Q: UltraWarm が耐久性のためにプライマリデータのみを必要とする理由とは ?

UltraWarm は、ストレージに Amazon Simple Storage Service (Amazon S3) を使用します。これは、99.999999999% の耐久性を実現するように設計されていて、ウォームデータ用に Elasticsearch レプリカを構成する必要がありません。さらに、ノードに障害が発生した場合、複数の UltraWarm ノードがある場合、他の UltraWarm ノードは必要に応じて自動的にデータにアクセスします。

Q: UltraWarm にはどれだけのデータを保存できますか?

UltraWarm は、最大 3 PB のプライマリデータをサポートします。UltraWarm は、このストレージを 100% 活用できるように設計されています。また、UltraWarm は耐久性のために Amazon S3 にデータを保存するため、Elasticsearch レプリカ用に追加のストレージを使用する必要はありません。

Q: UltraWarm パフォーマンスの特性は何ですか?

UltraWarm は、詳細な I/O キャッシング、プリフェッチ、クエリエンジンの最適化を実装して OpenSearch ダッシュボードおよび Kibana でインタラクティブなエクスペリエンスを提供し、ローカルストレージを使用して高密度インスタンスと同様のパフォーマンスを提供します。

Q: UltraWarm を開始するにはどうすればよいですか?

UltraWarm を開始するには、コンソール、CLI、API を介して UltraWarm を有効にしてから、新しい Amazon OpenSearch Service ドメインを作成します。ドメインを作成したら、OpenSearch/Elasticsearch API を使用してホットから UltraWarm にデータを移動できます。詳細については、 OpenSearch サービス開発者ガイドを参照してください。

コールドストレージとは、Amazon S3 でアクセス頻度の低いデータを保持し、必要な場合にのみコンピューティングの料金を支払うことができる、Amazon OpenSearch Service の最も低コストのストレージオプションです。コールドストレージは UltraWarm 上に構築されており、Amazon S3 でのデータの保存に特化したノードを提供し、高度なキャッシュソリューションを使用してインタラクティブなエクスペリエンスを提供します。コールドストレージは、コンピューティングリソースをストレージからデカップリングすることで、Amazon OpenSearch Service ドメインに任意の量のデータを保持しながら、GB あたりのコストを Amazon S3 ストレージの料金に近づけることができます。使用していないときに履歴データまたはアクセス頻度の低いウォームデータをデタッチし、コンピューティングを解放してコストを削減する。Kibana (バージョン 7.10 以前) または OpenSearch ダッシュボードインターフェイスと使いやすい API を選択して、コールドデータを検出し、ドメインの UltraWarm ノードに数秒で選択的にアタッチします。コールドストレージを使用すると、ウォームデータと同様のインタラクティブなエクスペリエンスとパフォーマンスで、アタッチされたコールドデータを照会することができます。

Q: コールドストレージとは何ですか?

コールドストレージとは、Amazon OpenSearch Service のフルマネージドの最低コストのストレージ層であり、履歴ログをオンデマンドで安全に保存および分析するのを簡単にします。コールドストレージを使用すると、データの分析をアクティブに実行していないときにストレージをコンピューティングから完全に切り離すことができ、データを低コストですぐに利用できる状態に保つことができます。コールドストレージに保存されているデータは、UltraWarm ノードを介して Amazon OpenSearch Service ドメイン内で利用できます。コールドストレージは、OpenSearch と OpenSearch ダッシュボード、および Elasticsearch (バージョン 7.9、7.10) と Kibana (バージョン 7.9、7.10) とシームレスに統合されます。これにより、Amazon OpenSearch Service が現在提供しているものと同じツールを使用してデータを分析できます。

Q: コールドストレージを使用するメリットは何ですか?

コールドストレージを使用すると、Amazon OpenSearch Service で分析するデータをコスト効率よく拡張して、以前に削除またはアーカイブされた可能性のあるデータに関する貴重なインサイトを得ることができます。コールドストレージは、古いデータの調査やフォレンジック分析を行う必要があり、Amazon OpenSearch Service のすべての機能を手頃な料金で使用したい場合に最適です。コールドストレージは、Amazon S3 によって大規模に構築、サポートされています。必要なデータを探して発見し、クラスター内の UltraWarm ノードにアタッチすると、数秒で分析できるようになります。アタッチされたコールドデータは、インデックス、ドキュメント、フィールドレベルでアクセスを制限する既存のきめ細かいアクセスコントロールポリシーの対象となります。

Q: コールドストレージは Amazon OpenSearch Service とどのように関連/連携しますか?

コールドストレージでは、Amazon OpenSearch Service は、ホット、UltraWarm、およびコールドの 3 つの統合ストレージ層をサポートします。ホット層は、インデックス作成、更新、データへの最速アクセスの提供に使用されます。UltraWarm は、Amazon S3 に堅実に保存され、永続的に利用可能である必要があるデータに対して高性能でインタラクティブな使用エクスペリエンスを提供する計算ノードを実現することにより、ホット層をシームレスに拡張し、現在、単一ドメインで最大 3PB のデータをサポートします。コールドストレージにより、使用していないときに UltraWarm からインデックスをデタッチし、コンピューティングを解放してコストを削減できるようになりました。新しいコールドストレージ API と OpenSearch ダッシュボードおよび Kibana インターフェースを使用すると、インデックスパターンとデータタイムスタンプに基づいてインデックスを検出し、分析に必要なものを簡単に見つけることができます。その後、そのデータをドメインにアタッチすると、数秒で分析できるようになります。分析が終了すると、データをデタッチするだけで、コンピューティングは再び解放されます。 

Q: コールドストレージにはどれだけのデータを保存できますか?

コールドストレージは、大規模に対応できるように構築されています。ホットデータとウォームデータのストレージ制限は 3PB のままですが、コールドストレージには任意の量のデータを保存できます。

Q: コールドストレージのパフォーマンスの特性は何ですか?

コールドストレージは UltraWarm 上に構築されており、Amazon S3 でのデータの保存に特化したノードを提供し、高度なキャッシュソリューションを使用してインタラクティブなエクスペリエンスを提供します。コールドデータは、最初に Amazon OpenSearch Service ドメインの UltraWarm ノードにアタッチする必要があります。アタッチされると、このデータに対するクエリは、ウォームデータと同じパフォーマンスを提供する既存の UltraWarm ノードによって強化されます。要求されたデータに十分な UltraWarm のキャパシティを利用できる場合、ドメインへのコールドインデックスのアタッチには数秒かかります。追加のキャパシティが必要な場合は、UltraWarm データノードを追加する必要があり、これには数分かかる場合があります。

OpenSearch Service は、データベース検索を超えたリアルタイムのドキュメント検索機能を提供します。検索エンジンに OpenSearch を使用したフルマネージド型サービスです。OpenSearch は、キーワード検索、自然言語検索、同義語、多言語などをサポートする、Lucene ベースのフル機能を備えており、ポータブルでプラットフォームに依存しないオープンソースの検索エンジンです。 主要な検索機能には以下が含まれます。

• データベースやコンテンツマネジメントシステム、Web やイントラネットのクローラー、ストリーミングサービスからデータを取得
  
• 検索サービス上にフロントエンドを構築するための検索 API を提供
  
• 多くの属性にまたがる検索が可能
  
• 保存されたクエリの集合に一致する新しいドキュメントを、見込み検索で検出 (パーコレーション)
  
• OpenSearch サービスのモニタリング機能により、利用パターンを評価し、キャパシティプランニングとコスト予測の実行
  
• k-近傍 (k-NN) 探索の組み込み機械学習 (ML) アルゴリズムにより、ベクトル検索、類似検索、セマンティック検索などを実現
• 関連性スコアを計算するために Learning to Rank の組み込み ML アルゴリズムを使用します
  
• ML 拡張検索エクスペリエンスと生成系 AI アプリケーションを強化する、シンプルでスケーラブルかつ高性能なベクターストレージと検索を提供します
• SQL を含む複数のクエリ言語が使用可能
  

リソースを検索

セキュリティオペレーション (SecOps) チームが、セキュリティ調査に役立つツールを手に入れながら、潜在的な脅威を迅速に検出できるようにします。しかも、データ保持コストも抑えられます。ビジネスデータを保護し、潜在的なセキュリティ脅威を迅速に検出します。OpenSearch Service は、2,200 を超えるオープンソースの Sigma セキュリティルールをすぐにサポートし、セキュリティ検出結果をフィルタリングして潜在的なセキュリティ脅威を検出します。デフォルトの Sigma ルールをカスタマイズまたは使用して、潜在的なセキュリティ脅威を迅速に検出し、事前に選択した送信先にアラートを送信することもできます。Windows、Netflow、AWS CloudTrail、DNS などを含む複数のログソースをすぐにサポートできます。 

Q: セキュリティ分析とは何ですか?

OpenSearch のセキュリティ分析は、ビジネスに不可欠な機能の運用を危険にさらす可能性のあるセキュリティ脅威の調査、検出、分析、および対応を支援するように設計されています。これらの脅威には、機密データの漏えい、サイバー攻撃、その他の有害なセキュリティ事象が含まれます。検出パラメータの定義、アラートの生成、潜在的な脅威への効果的な対応に必要なツールと機能が含まれています。

Q: セキュリティ分析はどのような種類のセキュリティログをサポートしていますか?

現在、Netflow、DNS ログ、Apache アクセスログ、Windows ログ、AD/LDAP ログ、Linux システムログ、AWS CloudTrail ログ、Amazon S3 アクセスログを含む 8 種類のログタイプをサポートしています

Q: これらのセキュリティログを OpenSearch に送るにはどうすればいいですか?

JSON 形式のデータを OpenSearch に送信する既存の取り込みパイプラインを使用できます。

Q: セキュリティ分析はすぐに使用できるセキュリティルールが提供されますか? 

はい、OpenSearch のセキュリティ分析には、2200 を超える Sigma セキュリティルールがパッケージ化されており、さまざまなタイプの security detector ですぐに使用できます。これらのルールは、ログソースに関する最小限の設定を行うと事前に選択されます。

Q: 独自のカスタムルールを作成できますか?

はい、上記のサポートされているログタイプにカスタムルールを追加できます。これらのルールは Sigma ルール形式である必要があり、security detector で使用する前に OpenSearch にインポートできます。

Q: ログを特定の形式またはスキーマに変換する必要がありますか? 

はい、ログは JSON 形式である必要があります。ECS (Elastic Common Schema) 形式で送信することをお勧めします。

Q: セキュリティ分析を使用するには、追加のライセンス料を支払う必要がありますか? 

OpenSearch のセキュリティ分析は、追加費用やライセンス料なしで利用できます。OpenSearch Service に他のデータを取り込む場合と同じ費用を支払います。 

Q: OpenSearch Service のどのバージョンがセキュリティ分析をサポートしていますか? 

セキュリティ分析は、OpenSearch バージョン 2.5 以降を実行する OpenSearch Service にプリインストールされています。

Q: OpenSearch セキュリティ分析と Amazon Security Lake には何か違いがありますか? 

Amazon Security Lake は、クラウド、オンプレミス、およびカスタムソースからのセキュリティデータを、アカウントに保存されている専用のデータレイクに自動的に一元化します。この集約されたデータは共通の形式に正規化され、S3 バケットに保存されます。このデータを OpenSearch Service に取り込むことができるため、そのデータを視覚化したり、クエリを実行したり、レポートを作成したりできます。セキュリティ分析にはセキュリティルールエンジンが用意されており、潜在的なセキュリティ事象を検出して警告したり、それらを関連付けて調査に役立てたりするのに役立ちます。

Q: OpenSearch のセキュリティ分析を Amazon Security Lake で使用できますか? 

はい。Security Lake から追加のログを OpenSearch に取り込み、detector を作成して、取り込んだログに関連するルールを実行できます。

OpenSearch Service 機能詳細

• コスト重視
• 統合
• マネージドサービス
• サーバーレス
• オブザーバビリティ
• セキュリティ