亚马逊AWS官方博客

正式推出适用于 Amazon Elasticsearch Service 的 UltraWarm

今天,我们很高兴地宣布正式推出适用于 的 UltraWarm。

这种新型的低成本存储层可对最多 3PB 的日志数据进行快速交互式分析,成本仅为当前 Amazon Elasticsearch Service 存储层的十分之一。

UltraWarm 提供较便宜的存储空间来存储较旧且不经常访问的数据,适合作为现有 Amazon Elasticsearch Service 热存储层的补充,可确保无损于 Amazon Elasticsearch Service 客户所期待的快速交互体验。Amazon Elasticsearch Service 将数据存储在 Amazon S3 中,同时使用在 AWS Nitro System 中专门构建的高度优化自定义节点,来缓存、预取和查询这些数据。

Amazon Elasticsearch Service 有很多应用场景,例如为网站构建搜索系统、存储和分析来自应用程序或基础架构日志的数据等。我们认为,这一新存储层特别适合拥有大量日志数据的客户。

Amazon Elasticsearch Service 是一项受欢迎的日志分析服务,因为它能够提取大量日志数据并进行交互式分析。随着越来越多的开发人员使用微服务和容器构建应用程序,日志数据已呈爆炸性增长。存储和分析数月甚至数年的数据规模庞大、成本高昂,这导致客户使用多种分析工具或删除有价值的数据,从而错过较长期数据可能生成的重要见解。

AWS 打造了 UltraWarm 来解决这个问题,并确保开发人员、开发运营工程师和 InfoSec 专家可以分析近期和较长期的运营数据,而无需在 Amazon Elasticsearch Service 集群中花费几天时间将数据从存档恢复到活动的可搜索状态。

下面,我们来看一看如何通过在 AWS 管理控制台中创建新域来使用这一新存储层。

首先,进入 Amazon Elasticsearch Service 控制台,单击按钮创建一个新域。随即将进入设置新集群的工作流程,在很大程度上,使用 UltraWarm 设置新域与设置普通域相同,我这里仅着重介绍两点不同之处。

在工作流程的第 1 步中,单击单选按钮来创建生产部署类型,然后单击下一步

继续下一步,填写第 2 步中的配置。最后,选中启用 UltraWarm 数据节点复选框,然后选择想使用的实例类型。使用默认的 ultrawarm1.medium.elasticsearch 并指定其数量为 3 个(要求至少有 2 个节点)。

所有其他设置均与 Amazon Elasticsearch Service 的常规设置相同。在设置集群后,进入控制面板并选择新创建的域。控制面板确认新创建的域包含 3 个 UltraWarm 数据节点,每个节点有 1516 (GiB) 的可用存储空间。

除了在新域上使用 UltraWarm 之外,还可以使用 AWS 管理控制台、CLI 或 SDK 为现有域启用 UltraWarm 节点。

在设置完 UltraWarm 节点后,可以通过以下请求将索引从热迁移到冷。

POST _ultrawarm/migration/my-index/_warm

随后,可以通过以下请求查看迁移的状态。

GET _ultrawarm/migration/my-index/_status
{
  "migration_status": {
    "index": "my-index",
    "state": "RUNNING_SHARD_RELOCATION",
    "migration_type": "HOT_TO_WARM",
    "shard_level_status": {
      "running": 0,
      "total": 5,
      "pending": 3,
      "failed": 0,
      "succeeded": 2
    }
  }
}

UltraWarm 今天在全球 22 个区域的 Amazon Elasticsearch Service 6.8 及以上版本中推出。

祝搜索愉快

— Martin