Amazon OpenSearch Service の特徴

OpenSearch Service の使用を開始するのは簡単です。AWS マネジメントコンソールまたは AWS コマンドラインインターフェイス (AWS CLI) を介した単一の API 呼び出しを使用して、Amazon OpenSearch Service クラスターをセットアップおよび設定できます。インスタンスの数、インスタンスタイプ、ストレージオプションを指定し、既存のクラスターをいつでも変更または削除できます。

OpenSearch Service により、インプレースバージョンアップグレードを使用して、OpenSearch クラスターと Elasticsearch クラスター (バージョン 7.10 まで) をダウンタイムなしで新しいバージョンに簡単にアップグレードできます。インプレースアップグレードにより、手動でスナップショットを作成し、それを新しいバージョンを実行しているクラスターに復元し、すべてのエンドポイント参照を更新する手間が省けます。

OpenSearch Service が組み込みのイベントモニタリングとアラートを提供するようになりました。これにより、クラスターに保存されているデータをモニタリングし、事前に設定されたしきい値に基づいて自動的に通知を送信できます。OpenSearch アラートプラグインを使用して構築されたこの機能を使用すると、Kibana または OpenSearch ダッシュボードインターフェイスと REST API を使用してアラートを設定および管理できます。カスタムウェブフック、Slack、Amazon Simple Notification Service (Amazon SNS)、および Amazon Chime を介して通知を受け取ることができます。また、インスタンスの数、クラスターの正常性、検索可能なドキュメント、CPU、メモリ、および Amazon CloudWatch を通じたデータとプライマリノードのディスク使用率などのクラスター正常性のメトリクスを追加料金なしで表示できます。

Amazon OpenSearch Service では、OpenSearch クエリのドメイン固有言語 (DSL) に習熟している必要はありません。OpenSearch SQL を使用して SQL クエリを作成するか、パイプ (|) 構文を使用してデータを探索、検出、クエリできるクエリ言語である OpenSearch パイプ処理言語 (PPL) を使用します。OpenSearch ダッシュボードには、SQL および PPL ワークベンチも含まれています。

OpenSearch Service は、組み込みの OpenSearch Dashboards と Kibana (Elasticsearch バージョン 7.10 以前) を提供し、Logstash と統合するため、好みのオープンソースツールを使用してデータを取り込んで視覚化できます。オープンソースの OpenTelemetry 標準に対する Amazon OpenSearch Service のサポートを使用してトレース分析を実行し、既存のコードを引き続き使用して、Elasticsearch API に直接アクセスし、Kuromoji、Phonetic Analysis、Ingest Processor Attachment、Ingest User エージェント Processor、Mapper Murmur3 などのプラグインに直接アクセスできます。

OpenSearch Service を使用すると、VPC セキュリティグループまたは IP ベースのアクセスポリシーを使用してネットワークアクセスを設定し、Amazon Virtual Private Cloud (Amazon VPC) から、またはパブリックインターネットを通じて、マネージド Elasticsearch (バージョン 7.10 以前) または OpenSearch 環境にアプリケーションを安全に接続できます。また、Amazon Cognito、AWS Identity and Access Management (IAM)、またはユーザー名とパスワードを使用した基本認証で、ユーザーを安全に認証し、アクセスを制御することもできます。Amazon OpenSearch Service は、OpenSearch セキュリティプラグインを活用して、インデックス、ドキュメントやフィールドの詳細なアクセス許可を定義できます。読み取り専用ビューと安全なマルチテナントサポートで Kibana を拡張することもできます。Amazon OpenSearch Service は保管中のデータの暗号化機能も内蔵されているため、ドメインに保存されているか、自動スナップショットに保存されている場合でも、ドメイン内のノード間でデータが転送される場合でも、データを保護することができます。Amazon OpenSearch Service は HIPAA に適格で、PCI DSS、SOC、ISO、FedRAMP 標準に準拠しているため、コンプライアンス要件を満たすアプリケーションを簡単に構築できます。

サーバーレス: Amazon OpenSearch Serverless を利用して、自動的にプロビジョニングし、継続的に調整することで、高速なデータインジェストレートと、使用パターンや需要の変化に対応できるミリ秒単位の応答時間を実現します。

ホットストレージを使用すると、頻繁にアクセスされるデータをすばやく取得できます。ウォームストレージ層である UltraWarm は、アクセス頻度が低く古いデータに安価なストレージを提供すると同時に、インタラクティブなクエリエクスペリエンスを提供することにより、Amazon OpenSearch Service ホットストレージ層を補完します。UltraWarm は Amazon Simple Storage Service (Amazon S3) にデータを保存し、AWS Nitro System で特定の目的のために構築された、高度に最適化されたカスタムノードを使用して、データのキャッシュ、プリフェッチ、クエリを迅速に行います。

UltraWarm を使用することで、Amazon OpenSearch Service クラスター 1 つで最大 3 PB のデータを保持しながら、ホットストレージ層と比較して 1 GB あたりのコストをほぼ 90% 削減します。Kibana (バージョン 7.10 以前) または OpenSearch ダッシュボードインターフェイスでデータを簡単にクエリして視覚化することもできます。アーカイブログの復元に数時間または数日を費やすことなく、最近 (週) のログデータと過去 (月または年) のログデータの両方を分析します。

UltraWarm は、Amazon OpenSearch Service の完全マネージド型で低コストのウォームストレージ層です。OpenSearch、Elasticsearch (バージョン 7.10 まで)、OpenSearch ダッシュボード、および Kibana (バージョン 7.10 まで) と互換性があり、Amazon OpenSearch Service が現在提供しているものと同じツールを使用してデータを分析できます。UltraWarm は、統合されたアラート、SQL クエリなど、Amazon OpenSearch Service の既存の機能とシームレスに統合します。 

UltraWarm を使用すると、OpenSearch Service で分析したいデータをコスト効率よく拡張できます。以前に削除またはアーカイブされた可能性のあるデータに関する貴重な洞察を得ることができます。UltraWarm を使用すると、より多くのデータを経済的に保持して、必要なときにいつでもインタラクティブに分析できます。

Amazon OpenSearch Service は、2 つの統合ストレージ層、ホットおよび UltraWarm をサポートしています。ホット層は、インデックス作成、更新、およびデータへの最速アクセスを提供するために使用されるデータノードによって強化されます。UltraWarm ノードは、アクセス頻度の低い古いデータに低コストの読み取り専用階層を提供することにより、ホット層を補完します。

UltraWarm は、ストレージに Amazon Simple Storage Service (Amazon S3) を使用します。これは、99.999999999% の耐久性を実現するように設計されていて、ウォームデータ用に Elasticsearch レプリカを構成する必要がありません。さらに、ノードに障害が発生した場合、複数の UltraWarm ノードがある場合、他の UltraWarm ノードは必要に応じて自動的にデータにアクセスします。

UltraWarm は、最大 3 PB のプライマリデータをサポートします。UltraWarm は、このストレージを 100% 活用できるように設計されています。また、UltraWarm は耐久性のために Amazon S3 にデータを保存するため、Elasticsearch レプリカ用に追加のストレージを使用する必要はありません。

UltraWarm は、詳細な I/O キャッシング、プリフェッチ、クエリエンジンの最適化を実装して OpenSearch ダッシュボードおよび Kibana でインタラクティブなエクスペリエンスを提供し、ローカルストレージを使用して高密度インスタンスと同様のパフォーマンスを提供します。

UltraWarm を開始するには、コンソール、CLI、API を介して UltraWarm を有効にしてから、新しい Amazon OpenSearch Service ドメインを作成します。ドメインを作成したら、OpenSearch/Elasticsearch API を使用してホットから UltraWarm にデータを移動できます。詳細については、「OpenSearch Service デベロッパーガイド」をご覧ください。

コールドストレージとは、Amazon S3 でアクセス頻度の低いデータを保持し、必要な場合にのみコンピューティングの料金を支払うことができる、Amazon OpenSearch Service の最も低コストのストレージオプションです。コールドストレージは UltraWarm 上に構築されており、Amazon S3 でのデータの保存に特化したノードを提供し、高度なキャッシュソリューションを使用してインタラクティブなエクスペリエンスを提供します。コールドストレージは、コンピューティングリソースをストレージからデカップリングすることで、Amazon OpenSearch Service ドメインに任意の量のデータを保持しながら、GB あたりのコストを Amazon S3 ストレージの料金に近づけることができます。使用していないときに履歴データまたはアクセス頻度の低いウォームデータをデタッチし、コンピューティングを解放してコストを削減する。Kibana (バージョン 7.10 以前) または OpenSearch ダッシュボードインターフェイスと使いやすい API を選択して、コールドデータを検出し、ドメインの UltraWarm ノードに数秒で選択的にアタッチします。コールドストレージを使用すると、ウォームデータと同様のインタラクティブなエクスペリエンスとパフォーマンスで、アタッチされたコールドデータを照会することができます。

OpenSearch には、Elasticsearch B.V. の Apache ライセンスによる Elasticsearch コードの一部と、その他のソースコードが含まれています。Elasticsearch B.V. はその他のソースコードのソースではありません。ELASTICSEARCH は、Elasticsearch B.V. の登録商標です。

コールドストレージとは、Amazon OpenSearch Service のフルマネージドの最低コストのストレージ層であり、履歴ログをオンデマンドで安全に保存および分析するのを簡単にします。コールドストレージを使用すると、データの分析をアクティブに実行していないときにストレージをコンピューティングから完全に切り離すことができ、データを低コストですぐに利用できる状態に保つことができます。コールドストレージに保存されているデータは、UltraWarm ノードを介して Amazon OpenSearch Service ドメイン内で利用できます。コールドストレージは、OpenSearch と OpenSearch ダッシュボード、および Elasticsearch (バージョン 7.9、7.10) と Kibana (バージョン 7.9、7.10) とシームレスに統合されます。これにより、Amazon OpenSearch Service が現在提供しているものと同じツールを使用してデータを分析できます。

コールドストレージを使用すると、Amazon OpenSearch Service で分析するデータをコスト効率よく拡張して、以前に削除またはアーカイブされた可能性のあるデータに関する貴重なインサイトを得ることができます。コールドストレージは、古いデータの調査やフォレンジック分析を行う必要があり、Amazon OpenSearch Service のすべての機能を手頃な料金で使用したい場合に最適です。コールドストレージは、Amazon S3 によって大規模に構築、サポートされています。必要なデータを探して発見し、クラスター内の UltraWarm ノードにアタッチすると、数秒で分析できるようになります。アタッチされたコールドデータは、インデックス、ドキュメント、フィールドレベルでアクセスを制限する既存のきめ細かいアクセスコントロールポリシーの対象となります。

コールドストレージでは、Amazon OpenSearch Service は、ホット、UltraWarm、およびコールドの 3 つの統合ストレージ層をサポートします。ホット層は、インデックス作成、更新、データへの最速アクセスの提供に使用されます。UltraWarm は、Amazon S3 に堅実に保存され、永続的に利用可能である必要があるデータに対して高性能でインタラクティブな使用エクスペリエンスを提供する計算ノードを実現することにより、ホット層をシームレスに拡張し、現在、単一ドメインで最大 3PB のデータをサポートします。コールドストレージにより、使用していないときに UltraWarm からインデックスをデタッチし、コンピューティングを解放してコストを削減できるようになりました。新しいコールドストレージ API と OpenSearch ダッシュボードおよび Kibana インターフェースを使用すると、インデックスパターンとデータタイムスタンプに基づいてインデックスを検出し、分析に必要なものを簡単に見つけることができます。その後、そのデータをドメインにアタッチすると、数秒で分析できるようになります。分析が終了すると、データをデタッチするだけで、コンピューティングは再び解放されます。 

コールドストレージは、大規模に対応できるように構築されています。ホットデータとウォームデータのストレージ制限は 3PB のままですが、コールドストレージには任意の量のデータを保存できます。

コールドストレージは UltraWarm 上に構築されており、Amazon S3 でのデータの保存に特化したノードを提供し、高度なキャッシュソリューションを使用してインタラクティブなエクスペリエンスを提供します。コールドデータは、最初に Amazon OpenSearch Service ドメインの UltraWarm ノードにアタッチする必要があります。アタッチされると、このデータに対するクエリは、ウォームデータと同じパフォーマンスを提供する既存の UltraWarm ノードによって強化されます。要求されたデータに十分な UltraWarm のキャパシティを利用できる場合、ドメインへのコールドインデックスのアタッチには数秒かかります。追加のキャパシティが必要な場合は、UltraWarm データノードを追加する必要があり、これには数分かかる場合があります。

セキュリティオペレーション (SecOps) チームが、セキュリティ調査に役立つツールを手に入れながら、潜在的な脅威を迅速に検出できるようにします。しかも、データ保持コストも抑えられます。ビジネスデータを保護し、潜在的なセキュリティ脅威を迅速に検出します。OpenSearch Service は、2,200 を超えるオープンソースの Sigma セキュリティルールをすぐにサポートし、セキュリティ検出結果をフィルタリングして潜在的なセキュリティ脅威を検出します。デフォルトの Sigma ルールをカスタマイズまたは使用して、潜在的なセキュリティ脅威を迅速に検出し、事前に選択した送信先にアラートを送信することもできます。Windows、Netflow、AWS CloudTrail、DNS などを含む複数のログソースをすぐにサポートできます。 

OpenSearch のセキュリティ分析は、ビジネスに不可欠な機能の運用を危険にさらす可能性のあるセキュリティ脅威の調査、検出、分析、対応に役立つよう設計されています。これらの脅威には、機密データの漏えい、サイバー攻撃、その他の有害なセキュリティ事象が含まれます。検出パラメータの定義、アラートの生成、潜在的な脅威への効果的な対応に必要なツールと機能が含まれています。

現在、Netflow、DNS ログ、Apache アクセスログ、Windows ログ、AD/LDAP ログ、Linux システムログ、AWS CloudTrail ログ、Amazon S3 アクセスログを含む 8 種類のログタイプをサポートしています。

JSON 形式のデータを OpenSearch に送信する既存の取り込みパイプラインを使用できます。

はい、OpenSearch のセキュリティ分析には、2200 を超える Sigma セキュリティルールがパッケージ化されており、さまざまなタイプの security detector ですぐに使用できます。これらのルールは、ログソースに関する最小限の設定を行うと事前に選択されます。

はい、上記のサポートされているログタイプにカスタムルールを追加できます。これらのルールは Sigma ルール形式である必要があり、security detector で使用する前に OpenSearch にインポートできます。

はい、ログは JSON 形式である必要があります。ECS (Elastic Common Schema) 形式で送信することをお勧めします。

OpenSearch のセキュリティ分析は、追加費用やライセンス料なしで利用できます。OpenSearch Service に他のデータを取り込む場合と同じ費用を支払います。

セキュリティ分析は、OpenSearch バージョン 2.5 以降を実行する OpenSearch Service にプリインストールされています。

Amazon Security Lake は、クラウド、オンプレミス、およびカスタムソースからのセキュリティデータを、アカウントに保存されている専用のデータレイクに自動的に一元化します。この集約されたデータは共通の形式に正規化され、S3 バケットに保存されます。このデータを OpenSearch Service に取り込むことができるため、そのデータを視覚化したり、クエリを実行したり、レポートを作成したりできます。セキュリティ分析にはセキュリティルールエンジンが用意されており、潜在的なセキュリティ事象を検出して警告したり、それらを関連付けて調査に役立てたりするのに役立ちます。

はい。Security Lake から追加のログを OpenSearch に取り込み、detector を作成して、取り込んだログに関連するルールを実行できます。

OpenSearch Optimized Instance ファミリーである OR1 は、社内ベンチマークで既存のインスタンスに比べて最大 30% 優れた料金パフォーマンスを提供し、Amazon S3 を利用してイレブンナインの耐久性を実現します。OR1 により、Amazon OpenSearch Service は OpenSearch のイノベーションと AWS テクノロジーを利用して、データをインデックス化してクラウドに保存する方法を再考しました。OR1 により、お客様は、期待するインタラクティブな分析エクスペリエンスを損なうことなく、OpenSearch のデプロイメントを経済的かつ確実にスケールできます。 

Amazon OpenSearch Service マネージドクラスターのための OpenSearch Optimized Instance ファミリーである OR1 は、社内ベンチマークで既存のインスタンスに比べて最大 30% 優れた料金パフォーマンスを提供し、Amazon S3 を利用してイレブンナインの耐久性を実現します。OR1 により、Amazon OpenSearch Service は OpenSearch のイノベーションと AWS テクノロジーを利用して、データをインデックス化してクラウドに保存する方法を再考しました。OR1 により、お客様は、期待するインタラクティブな分析エクスペリエンスを損なうことなく、OpenSearch のデプロイメントを経済的かつ確実にスケールできます。OR1 では、従量課金制およびリザーブドインスタンス価格で、プロビジョニングされたインスタンスとストレージにはシンプルな時間単位の料金が適用されます。

Amazon OpenSearch Service は大量のデータを取り込むことができると同時に、そのデータに対して豊富でインタラクティブな分析を提供できるため、顧客は運用ログ分析に広く利用しています。 OpenSearch Optimized Instance ファミリーである OR1 は、社内ベンチマークで既存のインスタンスに比べて最大 30% 優れた料金パフォーマンスを提供し、Amazon S3 を利用してイレブンナインの耐久性を実現します。大量の運用分析ワークロードをインデックス化している場合は、パフォーマンスの向上と計算効率の向上によるメリットが得られます。さらに、障害が発生した場合、OpenSearchは最後に成功した操作まで自動的にデータ回復を実行できるため、ドメインの信頼性が向上します。

Amazon OpenSearch Service は、論理 (ドキュメント) レプリケーションと物理 (セグメント) レプリケーションの 2 つのレプリケーション戦略をサポートしています。論理レプリケーションの場合、データはすべてのコピーに個別にインデックス付けされるため、作業が重複することになります。物理レプリケーションの場合、データは1次コピーにのみインデックス付けされ、プライマリからデータをコピーすることによって追加のコピーが作成されます。 Amazon OpenSearch Service マネージドクラスターの新しいインスタンスである OR1 は、物理レプリケーションを使用して、Amazon S3 をベースとするリモートストアにデータを書き込みます。耐久性の高いデータストアである Amazon S3 リポジトリは、すべてのレプリケーションとリカバリのオペレーションの信頼できる情報源となります。この革新的な設計は、Amazon OpenSearch Service ドメインのインデックス作成パフォーマンスの向上と耐久性の向上につながります。

Amazon OpenSearch Service は、クラスターマネージャーノード (マスターノード)、データノード、ウォームノードをサポートしています。データノードについては、ロールとワークロードの特性に応じて、汎用インスタンス、メモリ最適化、コンピューティング最適化、ストレージ最適化、そして現在は OpenSearch 最適化インスタンスから選択できます。ウォームノードの場合、Amazon OpenSearch Service はウォームデータの保存コストを削減するように最適化されたウルトラウォームインスタンスを提供します。 OR1 は、新しい OpenSearch 最適化インスタンスファミリーの最初のインスタンスオプションです。OR1はメモリ最適化されており、データノードとして使用できます。OR1 では、標準のメモリ最適化インスタンスよりもインデックス作成のスループットが向上します。さらに、OR1はスナップショットに依存しないデータ耐久性を提供し、高速自動リカバリを可能にします。OR1 インスタンスと Ultrawarm インスタンスはどちらも、ローカルストア (EBS) とリモートストア (マネージドストレージ-Amazon S3 ベース) を使用してデータを保存します。OR1の場合、データのコピーはローカルストアとリモートストアの両方に保存されますが、Ultrawarmでは、ストレージコストを削減するために、データは主にリモートストアに保存され、アクセスパターンに応じてデータはローカルストアに移動されます。 

OR1 インスタンスは EBS をローカルストアとして使用し、Amazon S3 をリモートストアとして使用します。すべてのデータは、99.999999999% (11.9秒) のデータ耐久性を提供するように設計された Amazon S3 に同期的に書き込まれます。

OR1 インスタンスは、OpenSearch バージョン 2.11 以降で作成され、保存時の暗号化が有効になっているすべての新しい Amazon OpenSearch Service マネージドクラスターのデータノードとして使用できます。起動時には、データノード用に他のインスタンスを使用して作成されたマネージドクラスターではOR1インスタンスを使用できません。OR1 では、クラスターマネージャー用の Graviton インスタンスをプロビジョニングする必要があります。

赤いインデックスが発生した場合、OR1 インスタンスは失われたシャードをリモートストア (Amazon S3) から自動的に復元します。回復時間は、回復するデータの量によって異なります。 

リファレンスアーキテクチャ eBook

動画: データ変換用ツール