Amazon OpenSearch Service 功能

OpenSearch Service 入門很簡單。您可以使用 AWS 管理主控台或透過 AWS Command Line Interface (AWS CLI) 進行單一 API 叫用，來建立和設定 Amazon OpenSearch Service 叢集。您可以隨時指定執行個體數目、執行個體類型、儲存選項，以及修改或刪除現有叢集。

OpenSearch Service 可讓您使用就地版本升級，輕鬆地將 OpenSearch 和 Elasticsearch 叢集 (最高至版本 7.10) 升級到新版本，而無需停機。就地升級消除了手動產生快照、將其恢復到執行較新版本的叢集以及更新所有端點參考的麻煩。

OpenSearch Service 提供內建的事件監控和提醒，可讓您監控儲存在叢集的資料，以及根據預先設定的閾值自動傳送通知。此功能使用 OpenSearch 提醒外掛程式建置，可讓您使用 Kibana 或 OpenSearch 儀表板界面和 REST API 設定和管理提醒。您可以透過自訂 Webhook、Slack、Amazon Simple Notification Service (Amazon SNS) 和 Amazon Chime 接收通知。您還可以透過 Amazon CloudWatch 檢視叢集運作狀態指標，包括執行個體數目、叢集運作狀態、可搜尋文件、CPU、記憶體，以及資料和主節點的磁碟使用率，而無須額外費用。

使用 OpenSearch Service 時，您無需精通 OpenSearch 查詢領域特定語言 (DSL)。使用 OpenSearch SQL 或使用 OpenSearch 管道處理語言 (PPL) 編寫 SQL 查詢，後者是一種可讓您使用管道 (|) 語法探索、發現和查詢資料的查詢語言。OpenSearch 儀表板還包含 SQL 和 PPL 工作台。

OpenSearch Service 提供內建的 OpenSearch 儀表板和 Kibana (Elasticsearch 7.10 及更早版本)，並與 Logstash 整合，因此您可以使用您喜歡的開源工具擷取和視覺化資料。利用 OpenSearch Service 對開放原始碼 OpenTelemetry 標準的支援來執行追蹤分析，並繼續使用您現有的程式碼，以及直接存取 Elasticsearch API 和外掛程式，例如 Kuromoji、Phonetic Analysis、Ingest Processor Attachment、Ingest User Agent Processor 和 Mapper Murmur3。

藉助 OpenSearch Service，您可以從 Amazon Virtual Private Cloud (Amazon VPC) 或透過公有網際網路 (使用 VPC 安全群組或以 IP 為基礎的存取政策設定網路存取) 安全地將應用程式連線至受管的 Elasticsearch (7.10 及更早版本) 或 OpenSearch 環境。您還可以使用 Amazon Cognito、AWS Identity and Access Management (IAM) 安全地對使用者進行身分驗證並控制存取，或者透過使用者名稱和密碼來進行基本身分驗證。OpenSearch Service 利用 OpenSearch 安全外掛程式，協助您定義索引、文件或欄位的精密許可。您還可以使用唯讀檢視和安全的多租用戶支援來擴展 Kibana。OpenSearch Service 還支援內建靜態資料和傳輸中資料加密，您可以在資料儲存在您的網域或自動化的快照中時，以及在您的網域中的節點之間傳輸時提供保護。OpenSearch Service 符合 HIPAA 資格，且符合 PCI DSS、SOC、ISO 和 FedRAMP 標準，可輕鬆建置滿足合規要求的應用程式。

無伺服器：藉助 Amazon OpenSearch Serverless，在使用模式和需求不斷變化時自動佈建並持續調整，以取得快速的資料擷取率和以毫秒計的回應時間。

熱儲存可讓您快速擷取經常存取的資料。UltraWarm 是一種暖儲存方案，可為較舊和不常存取的資料提供較實惠的儲存，同時仍提供互動式查詢體驗，是對 OpenSearch Service 熱儲存方案的補充。UltraWarm 將資料存放在 Amazon Simple Storage Service (Amazon S3)，並使用在 AWS Nitro System 上專門建置的自訂、高度優化的節點，進行快取、預擷取和快速查詢這些資料。

使用 UltraWarm 時，您可以在單個 OpenSearch Service 叢集中保留多達 3 PB 的資料，同時與熱儲存方案相比，每 GB 成本降低近 90%。您還可以在 Kibana (7.10 及更早版本) 或 OpenSearch 儀表板界面中輕鬆查詢和視覺化資料。您無需花費數小時或數天的時間來恢復封存的日誌，可立即分析最近 (幾週) 和歷史 (幾個月或幾年) 日誌資料。

UltraWarm 是 OpenSearch Service 的低成本全受管暖儲存層。它與 OpenSearch、Elasticsearch (直到 7.10 版本)、OpenSearch 儀表板和 Kibana (直到 7.10 版本) 相容，可協助您使用 OpenSearch Service 目前提供的工具來分析資料。UltraWarm 與現有的 OpenSearch Service 功能無縫整合，例如整合提醒、SQL 查詢等。 

UltraWarm 協助您以符合成本效益的方式，擴展您要在 OpenSearch 服務上分析的資料。您可以獲得之前可能已刪除或封存資料的相關寶貴洞察。使用 UltraWarm，您現在可以經濟地保留更多資料，以便隨時進行互動式分析。

OpenSearch Service 支援兩個整合儲存層：熱儲存層和 UltraWarm 儲存層。熱儲存層由資料節點提供支援，這些資料節點用於索引、更新和提供對資料的最快存取。UltraWarm 節點透過為較舊且存取頻率較低的資料提供低成本的唯讀層，來輔佐熱儲存層。

UltraWarm 使用 Amazon S3 進行儲存，旨在實現 99.999999999% 的耐久性，您無需為暖資料設定 Elasticsearch 複本。此外，如果您有多個 UltraWarm 節點，則在某個節點發生故障的情況下，其他 UltraWarm 節點將根據需要自動存取資料。

UltraWarm 支援最多 3 PB 的主要資料。UltraWarm 旨在讓您充分利用這種儲存 100% 的空間。而且，由於 UltraWarm 將資料存放在 Amazon S3 上以獲得耐久性，因此您無需額外的儲存空間來存放 Elasticsearch 複本。

UltraWarm 透過實作精細的 OpenSearch I/O 快取、預取和查詢引擎最佳化來提供與 OpenSearch 儀表板和 Kibana 的互動式體驗，並利用本機儲存實現類似於高密度執行個體的效能。

若要開始使用 UltraWarm，請建立一個啟用了 UltraWarm 的新的 OpenSearch Service 網域，該網域可透過主控台、CLI 或 API 建立。建立網域後，您可以使用 OpenSearch/Elasticsearch API 將資料從熱儲存層移轉到 UltraWarm 層。如需詳細資訊，請參閱 OpenSearch Service 開發人員指南。

冷儲存是 OpenSearch Service 可選擇的成本最低的儲存方案，可讓您將不經常存取的資料保留在 Amazon S3 中，僅在需要運算時支付費用。冷儲存建立在 UltraWarm 之上，UltraWarm 可提供專門的節點，這些節點將資料儲存在 Amazon S3 中，並使用完善的快取解決方案來提供交互式體驗。透過將運算資源與儲存分離，冷儲存可協助在 OpenSearch Service 網域中保留任意數量的資料，同時將每 GB 成本降低至接近 Amazon S3 的儲存價格。在不使用時，分離歷史或不經常存取的熱資料並釋放運算以協助降低成本。使用 Kibana (7.10 及更早版本) 或 OpenSearch 儀表板界面和易於使用的 API，在幾秒鐘內探索冷資料，並將其選擇性地連接到您網域中的 UltraWarm 節點。使用冷儲存時，您可以透過與熱資料類似的互動式體驗和效能，查詢連接的冷資料。

OpenSearch 包括來自 Elasticsearch B.V. 的特定 Apache 授權的 Elasticsearch 程式碼和其他原始程式碼。Elasticsearch B.V. 不是其他原始程式碼的來源。ELASTICSEARCH 是 Elasticsearch B.V. 的註冊商標。

冷儲存是 OpenSearch Service 的全受管成本最低的儲存層，可讓您更輕鬆、安全地隨需儲存和分析歷史日誌。冷儲存可協助您在未主動執行資料分析時，將儲存與運算完全分離，並以低成本保持資料隨時可用。可以透過 UltraWarm 節點在 OpenSearch Service 網域內取得冷儲存資料。冷儲存與 OpenSearch 和 OpenSearch 儀表板以及 Elasticsearch (版本 7.9 和 7.10) 和 Kibana (版本 7.9 和 7.10) 無縫整合。它可協助您使用 OpenSearch Service 目前提供的工具來分析資料。

冷儲存可協助以經濟實惠的方式擴展要在 OpenSearch Service 上分析的資料，從而獲得對以前可能已刪除或存檔的資料的寶貴洞見。如果您需要對舊資料執行研究或鑑定分析，且您想以經濟實惠的價格使用 OpenSearch Service 的所有功能執行此操作，則冷儲存非常適合。冷儲存是為擴展而建立，且由 Amazon S3 提供支援。尋找並探索您所需的資料，將其附加至叢集中的 UltraWarm 節點，並在幾秒內可供分析。附加的冷資料受現有微調存取控制政策的約束，該政策會限制索引、文件和欄位層級的存取。

藉由冷儲存，OpenSearch Service 支援三個整合儲存層：熱儲存層、UltraWarm 儲存層和冷儲存層。熱層用於編制索引、更新並提供資料的最快存取。UltraWarm 透過提供運算節點來提供熱層的無縫擴展，這些節點可為持久儲存在 Amazon S3 且需要持續可用的資料提供高效能的交互式體驗，目前在單個網域中最多支援 3PB 的資料。透過冷儲存，現在您可以將未使用的索引從 UltraWarm 中分離，然後釋放運算以協助降低成本。藉由此冷儲存 API 及 OpenSearch 儀表板和 Kibana 界面，您可以根據索引模式和資料時間戳記來探索索引，以輕鬆找到所需內容進行分析。然後，可將該資料連接至網域，並在幾秒內可供分析。完成分析後，只需分離資料，即可再次釋放運算。 

冷儲存是為擴展而建立。雖然熱資料和冷資料的儲存限制保持為 3 PB，您可以在冷儲存中儲存任意數量的資料。

冷儲存建立在 UltraWarm 之上，UltraWarm 可提供專門的節點，這些節點將資料儲存在 Amazon S3 中，並使用完善的快取解決方案來提供交互式體驗。冷資料必需先連接至 OpenSearch Service 網域的 UltraWarm 節點。連接後，對此資料的查詢將由現有 UltraWarm 節點提供支援，該節點提供與熱資料相同的的效能。如果有足夠的 UltraWarm 容量可用於請求的資料，則附加冷索引到網域只需幾秒時間。如果您需要額外的容量，則必需新增 UltraWarm 資料節點，此操作需用時幾分鐘。

協助您的安全作業 (SecOps) 團隊能夠快速偵測潛在威脅，同時擁有協助進行安全調查的工具，而且所有這些工具都能降低資料保留成本。保障您的業務資料安全，並快速偵測潛在的安全威脅。OpenSearch Service 為超過 2200 個開放原始碼 Sigma 安全規則提供立即可用的支援，透過篩選安全調查結果，可偵測潛在的安全威脅。您甚至可自訂或使用預設 Sigma 規則，以快速偵測潛在的安全威脅，並將提醒傳送至預先選取的目的地。針對多種日誌來源使用立即可用的支援，包括 Windows、NetFlow、AWS CloudTrail、DNS 等。 

OpenSearch 安全分析可協助調查、偵測、分析及回應可能危及業務關鍵功能營運的安全威脅。這些威脅包括機密資料的潛在暴露，網路攻擊和其他不良安全事件。它包括定義偵測參數、產生提醒，以及有效回應潛在威脅所需的工具和功能。

我們目前支援八種日誌類型，包括 NetFlow、DNS 日誌、Apache 存取日誌、Windows 日誌、AD/LDAP 日誌、Linux 系統日誌、AWS CloudTrail 日誌和 Amazon S3 存取日誌。

您可使用現有的擷取管道，將 JSON 格式化資料傳送至 OpenSearch。

是，OpenSearch 安全分析涵蓋超過 2200 個 Sigma 安全規則，可搭配不同類型的安全偵測器立即使用。一旦提供有關日誌來源的最小組態，即可預先選取這些規則。

是，您可以針對上述支援的日誌類型新增自訂規則。這些規則需要採用 Sigma 規則格式，並且可在搭配安全偵測器使用之前匯入 OpenSearch。

是，日誌必須為 JSON 格式。建議以 ECS (彈性通用結構描述) 格式傳送。

無需額外費用或授權費用，即可使用 OpenSearch 安全分析。您支付的費用與將其他資料擷取至 OpenSearch 服務的費用相同。

安全分析預先安裝執行於 OpenSearch 2.5 版或更高版本的 OpenSearch Service。

Amazon Security Lake 自動將來自雲端、內部部署和自訂來源的安全資料集中到儲存在您帳戶中的專用資料湖。此彙總資料會標準化為常用格式，並存放在 S3 儲存貯體中。這些資料可擷取到 OpenSearch 服務，這可讓您視覺化、查詢、以及建立報告。安全分析提供安全規則引擎，可協助您偵測潛在的安全事件並發出提醒，以及將其建立關聯，進而協助您進行調查。

是，您可以在 OpenSearch 使用安全湖中的其他日誌，並建立偵測器，以便在擷取的日誌上執行相關規則。

OR1 是 OpenSearch 最佳化執行個體系列，相較於內部基準的現有執行個體提升高達 30% 的價格性能改善，並使用 Amazon S3 提供 11 個 9 的耐用性。透過 OR1，Amazon OpenSearch Service 使用 OpenSearch 創新和 AWS 技術來重新構想資料如何在雲端中編製索引和儲存。OR1 使客戶能夠以更經濟實惠且可靠的方式擴展其 OpenSearch 部署，而不會犧牲他們期望的互動式分析體驗。 

OR1 是適用於 Amazon OpenSearch Service 受管叢集的 OpenSearch 最佳化執行個體系列，相較於內部基準的現有執行個體提升高達 30% 的價格性能改善，並使用 Amazon S3 提供 11 個 9 的耐用性。透過 OR1，Amazon OpenSearch Service 使用 OpenSearch 創新和 AWS 技術來重新構想資料如何在雲端中編製索引和儲存。OR1 使客戶能夠以更經濟實惠且可靠的方式擴展其 OpenSearch 部署，而不會犧牲他們期望的互動式分析體驗。OR1 提供依用量計費和預留執行個體定價，並為佈建的執行個體和儲存提供簡單的每小時費率。

客戶廣泛使用 Amazon OpenSearch Service 進行營運日誌分析，因為它能夠擷取大量資料，同時還能針對這些資料提供豐富的互動式分析。 OR1 是 OpenSearch 最佳化執行個體系列，相較於內部基準的現有執行個體提升高達 30% 的價格性能改善，並使用 Amazon S3 提供 11 個 9 的耐用性。如果您正在執行編製索引繁重的營運分析工作負載，則可以從改進的效能和改進的運算效率中獲益。此外，如果發生故障，OpenSearch 可以執行自動資料復原到最後一次成功的操作，改善網域的可靠性。

Amazon OpenSearch Service 支援兩種複寫策略 — 邏輯 (文件) 和實體 (區段) 複寫。若是邏輯複寫，資料會個別在所有副本上編製索引，導致重複的工作量。若是實體複寫，資料只會在主要副本上編製索引，而透過從主要副本複製資料來建立其他副本。 OR1 是 Amazon OpenSearch Service 受管叢集的新執行個體，使用實體複寫將資料寫入以 Amazon S3 為基礎的遠端存放區。Amazon S3 儲存庫是一個高度耐用的資料存放區，可做為所有複寫和復原操作的真實來源。創新的設計帶來了 Amazon OpenSearch Service 網域的編製索引效能改進，並改善了耐久性狀態。

Amazon OpenSearch Service 支援叢集管理員節點 (主節點)、資料節點和溫節點。對於資料節點，客戶可以從一般用途、記憶體最佳化、運算最佳化、儲存最佳化以及現在有 OpenSearch 最佳化執行個體中進行選取，取決於角色和工作負載特性。對於溫節點，Amazon OpenSearch Service 提供 ultrawarm 執行個體，這些執行個體經過最佳化，以降低儲存溫資料的成本。 OR1 是新的 OpenSearch 最佳化執行個體系列中的第一個執行個體選項。OR1 是記憶體最佳化，並可做為資料節點使用。OR1 比標準記憶體最佳化執行個體提供改善的索引輸送量。此外，OR1 不依賴快照即可提供資料耐久性，並提供快速自動復原。OR1 和 Ultrawarm 執行個體都使用本機存放區 (EBS) 和遠端存放區 (以 Amazon S3 為基礎的受管儲存) 來儲存資料。對於 OR1，資料的副本會保留在本機存放區和遠端存放區中，而對於 Ultrawarm 來說，為了降低儲存成本，資料主要保留在遠端存放區中，根據存取模式將資料移至本機存放區。 

OR1 執行個體使用 EBS 做為本機存放區，並使用 Amazon S3 做為遠端存放區。所有資料都會同步寫入 Amazon S3，旨在提供 99.999999999% (11 個 9) 的資料耐久性。

OR1 執行個體可用來做為 OpenSearch 2.11 版或更新版本上建立的所有新 Amazon OpenSearch Service 受管叢集的資料節點，並啟用靜態加密。啟動時，OR1 執行個體將無法用於使用其他資料節點執行個體建立的受管叢集。對於 OR1，您需要為叢集管理員佈建 Graviton 執行個體。

如果出現紅色索引，OR1 執行個體會自動從遠端存放區 (Amazon S3) 還原遺失的碎片。復原時間依據要復原的資料量而有所不同。 

參考架構電子書

影片：用於資料轉換的工具