Amazon OpenSearch Service 功能

设置和配置：Amazon OpenSearch Service 入门很容易。您可以使用 AWS 管理控制台或通过 AWS 命令行界面 (CLI) 进行的单个 API 调用来设置和配置 Amazon OpenSearch Service 集群。您可以随时指定实例数量、实例类型、存储选项，以及修改或删除现有群集。

就地升级：通过 Amazon OpenSearch Service，可以使用就地版本升级，在不造成停机的情况下轻松地将 OpenSearch 和 Elasticsearch 集群（7.10 及更低版本）升级到更高版本。就地升级无需再麻烦地手动拍摄快照、将其还原到运行更新版本的集群，以及更新所有端点引用。

事件监控和警报：Amazon OpenSearch Service 提供内置事件监控和警报功能，使您能够监控集群中存储的数据，并根据预先配置的阈值自动发送通知。使用 OpenSearch 警报插件构建时，此功能可供您使用 Kibana 或 OpenSearch Dashboards 界面和 REST API 配置和管理警报。您可以通过自定义 Webhook、Slack、Amazon Simple Notification Service (SNS) 和 Amazon Chime 接收通知。您还可以免费通过 Amazon CloudWatch 查看集群运行状况指标，包括实例数、集群运行状况、可搜索文档、CPU 和内存，以及数据和主节点的磁盘利用率。

支持多种查询语言：使用 Amazon OpenSearch Service，无需精通 OpenSearch 查询的域特定语言 (DSL)。通过 OpenSearch SQL 编写 SQL 查询或使用 OpenSearch 管道化处理语言 (PPL) 时，查询语言可让您使用管道 (|) 语法探索、发现和查询数据。OpenSearch Dashboards 还包括 SQL 和 PPL 工作台。

与开源工具集成：Amazon OpenSearch Service 提供内置的 OpenSearch Dashboards 和 Kibana（Elasticsearch 版本 7.10 和更低版本）并与 Logstash 集成，因此您可以使用自己喜好的开源工具来提取和可视化数据。您可以利用 Amazon OpenSearch Service 对开源 OpenTelemetry 标准的支持执行轨迹分析，并继续使用现有代码以直接访问 Elasticsearch API 和插件，例如 Kuromoji、Phonetic Analysis、Ingest Processor Attachment、Ingest User Agent Processor 和 Mapper Murmur3。

安全性：通过 Amazon OpenSearch Service，可以从 Amazon Virtual Private Cloud (VPC) 或通过公共 Internet 将应用程序安全地连接到托管的 Elasticsearch（版本 7.10 和更低版本）或 OpenSearch 环境，从而可以使用 VPC 安全组或基于 IP 的访问策略配置网络访问。您还可以使用 Amazon Cognito、AWS Identity and Access Management (IAM) 或使用用户名和密码的基本身份验证对用户和控制访问安全地进行身份验证。Amazon OpenSearch Service 利用 OpenSearch 安全插件，让您能够定义对索引、文档和字段的精细权限。您还可以为 Kibana 扩展只读查看和安全的多租户支持。Amazon OpenSearch Service 还支持内置的静态数据加密和传输中数据加密，这样可以在以下情况中保护数据：数据存储在域或自动快照中时，以及在域内的节点之间传输数据时。Amazon OpenSearch Service 既满足 HIPAA 要求，又符合 PCI DSS、SOC、ISO 和 FedRAMP 标准，使您能够轻松构建符合法规要求的应用程序。

无服务器：通过 Amazon OpenSearch 无服务器自动预置并持续调整，以在使用模式和需求不断变化时快速摄取数据并在数毫秒内做出响应。

热存储允许快速地检索经常访问的数据。UltraWarm 是一种暖存储层，通过为较旧和不经常访问的数据提供更低的存储成本，同时仍提供交互式查询体验，从而对 Amazon OpenSearch Service 的热存储层进行了补充。UltraWarm 将数据存储在 Amazon S3 中，并使用在 AWS Nitro System 上专门构建的自定义、高度优化的节点快速地缓存、预取和查询这些数据。

通过 UltraWarm，在单个 Amazon OpenSearch Service 集群中最多保留 3 PB 的数据，同时将每 GB 的成本降低近 90％（与热存储层相比）。您还可以在 Kibana（版本 7.10 和更低版本）或 OpenSearch Dashboards 界面中轻松地查询和可视化数据 。无需耗费几小时甚至几天时间来还原存档的日志，即可分析您的最近（几周）和历史（几个月或几年）日志数据。

问：什么是 UltraWarm？

UltraWarm 是一个适合于 Amazon OpenSearch Service 的完全托管、低成本的温存储层。它可与 OpenSearch、Elasticsearch（直到版本 7.10）、OpenSearch Dashboards 和 Kibana（直到版本 7.10）兼容，让您能够使用 Amazon OpenSearch Service 如今提供的相同工具分析数据。UltraWarm 可与 Amazon OpenSearch Service 的现有功能无缝集成，如集成警报、SQL 查询等。 

问：为什么使用 UltraWarm？

UltraWarm 使您能够经济高效地扩展您想要的数据，以便在 Amazon OpenSearch Service 上对其进行分析，从而从以前可能已删除或存档的数据中获得有价值的见解。利用 UltraWarm，您现在可以经济地保留更多的数据，以便随时以交互式方式对其进行分析。

问：UltraWarm 与 Amazon OpenSearch Service 有何关系/UltraWarm 如何使用 Amazon OpenSearch Service？

Amazon OpenSearch Service 支持两种集成存储层：热存储层和 UltraWarm 存储层。热存储层由用于检索、更新和提供最快速数据访问的数据节点提供支持。UltraWarm 节点与热存储层相辅相成，它可以为较旧且不常访问的数据提供低成本的只读存储层。

问：为何 UltraWarm 只需主数据即可实现持久性？

UltraWarm 使用 Amazon Simple Storage Service（Amazon S3）进行存储，旨在实现 99.999999999% 的持久性，并且无需为温数据配置 Elasticsearch 副本。此外，如果拥有多个 UltraWarm 节点，则在出现节点故障时，其他 UltraWarm 节点会根据需要自动访问数据。

问：在 UltraWarm 中可以存储多少数据？

UltraWarm 支持存储最多 3PB 主数据。因为 UltraWarm 将数据存储于 S3 存储桶上以实现持久性，因此您无需为 Elasticsearch 副本使用额外的存储。

问：UltraWarm 有哪些性能特征？

UltraWarm 通过实施细粒度 I/O 缓存、预取和查询引擎优化来在 OpenSearch Dashboards 和 Kibana 中提供交互式体验，以提供与使用本地存储的高密度实例类似的性能。

问：如何开始使用 UltraWarm？

若要开始使用 UltraWarm，请通过控制台、CLI 或 API 创建启用 UltraWarm 的 Amazon OpenSearch Service 域。域创建完毕之后，您可以使用 OpenSearch/Elasticsearch API 将数据从热存储层移至 UltraWarm。了解更多。 

冷存储是 Amazon OpenSearch Service 的成本最低的存储选项，允许您将不经常访问的数据存储在 Amazon S3 中，并且仅为您需要的计算付费。冷存储基于 UltraWarm 构建，提供在 Amazon S3 中存储数据的专用节点，并使用复杂的缓存解决方案来提供交互式体验。通过从存储解耦计算资源，冷存储允许您在 Amazon OpenSearch Service 域中保留任意多的数据，同时将每 GB 费用降至接近于 Amazon S3 存储的价格。在不使用时分离历史或不经常访问的暖数据，释放出计算资源以帮助降低成本。利用您选择的 Kibana（版本 7.10 和更低版本）或 OpenSearch Dashboards 界面和易于使用的 API，发现并在几秒内选择性地将冷数据挂载到您的域的 UltraWarm 节点。利用冷存储，您可以查询附加的冷数据，交互体验和性能与您的暖数据相似。

问：什么是冷存储？

冷存储是 Amazon OpenSearch Service 的一个完全托管的最低成本的存储层，它可以让您轻松地按需安全存储和分析历史日志。通过冷存储，您可以在计算不积极执行数据分析时将存储与计算完全分离，并且可以以较低的成本随时获取数据。冷存储数据在 Amazon OpenSearch Service 域内通过 UltraWarm 节点提供。冷存储可与 OpenSearch 和 OpenSearch Dashboards 以及 Elasticsearch（版本 7.9、7.10）和 Kibana（版本 7.9、7.10）无缝地集成。这样，您可以使用 Amazon OpenSearch Service 如今提供的相同工具分析数据。

问：我为什么应使用冷存储？

冷存储使您能够经济高效地扩展您想要的数据，以便在 Amazon OpenSearch Service 上对其进行分析，从而从以前可能已删除或存档的数据中获得有价值的见解。如果您需要对旧数据进行研究或取证分析，并且希望以经济实惠的价格使用 Amazon OpenSearch Service 的所有功能进行此操作，则冷存储非常适合。冷存储为扩展而构建，由 Amazon S3 提供支持。查找并发现您需要的数据，将数据附加到集群中的 UltraWarm 节点，并在几秒钟内使其可用于分析。附加的冷数据受制于现有的细粒度访问控制策略，这些策略会限制索引、文档和字段级别的访问。

问：冷存储与 Amazon Elasticsearch Service 有何关系/冷存储如何使用 Amazon OpenSearch Service？

使用冷存储，Amazon OpenSearch Service 支持三种集成存储层：热存储层、UltraWarm 存储层和冷存储层。热存储层用于建立索引、更新并提供最快的数据访问速度。UltraWarm 通过提供计算节点来为持久存储在 Amazon S3 中且需要持久可用的数据提供高性能交互性体验，从而提供热存储层的无缝扩展，目前在单个域中最高支持 3PB 的数据。借助冷存储，您现在可以将未使用的索引从 UltraWarm 中分离出来，释放计算资源以降低成本。使用新的冷存储 API 以及 OpenSearch Dashboards 和 Kibana 界面，您可以基于索引模式和数据时间戳发现索引，从而轻松找到分析需要的数据。然后，可以将该数据附加到域中，并在几秒钟内准备好进行分析。当您完成分析后，只需分离数据即可再次释放您的计算。 

问：在冷存储中我可以存储多少数据？

冷存储为扩展而构建。虽然热存储数据和温存储数据的存储限制保持在 3PB，但您可以在冷存储中存储任何数量的数据。

问：冷存储有哪些性能特征？

冷存储基于 UltraWarm 构建，提供在 Amazon S3 中存储数据的专用节点，并使用复杂的缓存解决方案来提供交互式体验。冷存储数据必须先附加到您的 Amazon OpenSearch Service 域的 UltraWarm 节点中。附加完毕后，查询此数据将由您的 UltraWarm 节点支持，以提供与温存储数据相同的性能。如果有足够的 UltraWarm 容量可用来处理请求的数据，则将冷索引附加到您的域需要几秒钟的时间。如果您需要增加容量，则需要增加 UltraWarm 数据节点，这最多需要几分钟的时间。

OpenSearch Service 提供超越数据库搜索的实时文档搜索功能。这一完全托管的服务使用 OpenSearch 引擎进行搜索。OpenSearch 是一款功能完备、基于 Lucene、可移植、与平台无关的开源搜索引擎，支持关键字搜索、自然语言搜索、同义词、多语言等。 核心搜索功能：

• 从数据库或内容管理系统、Web 或 Intranet 爬网程序或流媒体服务获取数据
  
• 提供搜索 API 以基于搜索服务构建前端
  
• 支持跨多个属性的搜索
  
• 使用潜在搜索（percolation）查找与一组已保存查询匹配的新文档
  
• 使用 OpenSearch 服务监控功能评测使用模式并执行容量规划和成本预测
  
• 使用用于k 最近邻搜索（kNN）的内置机器学习（ML）算法来完成矢量搜索、相似性搜索、语义搜索等
• 使用用于学习排名的内置 ML 算法来计算相关性分数
  
• 使用多种查询语言，包括 SQL
  

使您的安全运维（SecOps）团队能够快速检测潜在威胁，同时拥有帮助进行安全调查的工具，所有这些都以较低的数据留存成本实现。保护您的业务数据并快速检测潜在的安全威胁。OpenSearch Service 为 2200 多条开源 Sigma 安全规则提供开箱即用的支持，通过筛选安全发现来检测潜在的安全威胁。您甚至可以自定义或使用默认 Sigma 规则来快速检测潜在的安全威胁，并将警报发送到预先选择的目的地。对多个日志源使用开箱即用的支持，包括 Windows、Netflow、AWS CloudTrail、DNS 等。 

什么是安全分析？

OpenSearch 安全分析旨在帮助调查、检测、分析和应对可能危及业务关键功能运营的安全威胁。这些威胁包括机密数据的潜在泄露、网络攻击和其他不利的安全事件。它包括定义检测参数、生成警报和有效应对潜在威胁所需的工具和功能。

问：安全分析支持哪种类型的安全日志？

我们目前支持 8 种日志类型，包括 Netflow、DNS 日志、Apache 访问日志、Windows 日志、AD/LDAP 日志、Linux 系统日志、AWS CloudTrail 日志和 Amazon S3 访问日志

问：如何将这些安全日志发送到 OpenSearch？

您可以使用现有的采集管道将 JSON 格式的数据发送到 OpenSearch。

问：安全分析是否提供开箱即用的安全规则？ 

是的，OpenSearch 安全分析包含超过 2200 条 Sigma 安全规则，开箱即用，可与不同类型的安全检测器一起使用。一旦您提供了有关日志源的最小配置，就会预先选择这些规则。

问：我能否创建自己的自定义规则？

是的，可以为上述受支持的日志类型添加自定义规则。这些规则必须采用 Sigma 规则格式，并且可以在与安全检测器一起使用之前导入 OpenSearch。

问：我需要将日志转换为特定格式或架构吗？ 

是的，日志必须采用 JSON 格式。我们建议以 ECS（Elastic Common Schema，弹性通用架构）格式发送

问：我需要支付额外的许可费才能使用安全分析吗？ 

OpenSearch 安全分析无需支付额外费用或许可费即可使用。您支付的费用与将其他数据引入 OpenSearch 服务所支付的费用相同。 

问：哪个版本的 OpenSearch 服务支持安全分析？ 

安全分析预装了运行 OpenSearch 版本 2.5 或更高版本的 OpenSearch 服务。

问：OpenSearch 安全分析和亚马逊安全数据湖之间有什么区别吗？ 

亚马逊安全数据湖自动将来自云、本地和自定义来源的安全数据集中到一个专门构建的数据湖中，存储在您的账户中。这些聚合数据被标准化为通用格式，存储在 S3 存储桶中。这些数据可以引入 OpenSearch 服务，允许您可视化、查询和创建报告。安全分析提供了一个安全规则引擎，可以帮助您检测潜在的安全事件并发出警报，以及关联这些事件以帮助进行调查。

问：我能否将 OpenSearch 安全分析与亚马逊安全数据湖一起使用？ 

是的，您可以将其他日志从安全数据湖导入 OpenSearch 并创建检测器来对采集的日志运行相关规则。

OpenSearch 服务功能详细信息：

• 性价比高
• 集成
• 托管服务
• 无服务器
• 可观测性
• 安全性