发布于: Jun 4, 2020

Amazon Elasticsearch Service 现在提供异常检测功能,它使用机器学习检测实时流式数据的异常,并在问题演变时识别问题,以便您可用立即缓解这些问题。此新功能基于 Random Cut Forests (RCF) 构建,后者是一种久经考验的实时流式处理算法,与域无关,因此是各种日志分析应用程序的理想选择。

基于规则的静态分析方法难以适应动态工作负载,并且容易错过关键问题。Amazon Elasticsearch Service 异常检测功能利用 RCF 进行工作,RCF 是一种无监督算法,可持续适应不断变化的数据模式。异常检测功能轻便且具有弹性,计算负载分布在 Elasticsearch 节点上,无需专门的机器学习节点。得益于此高效设计,该功能可处理大量数据,而不会影响集群性能和应用程序工作负载。

此全新异常检测功能包括一个 Kibana 用户界面,该界面提供了导致异常的数据和事件的上下文,使所有用户都可以轻松从该功能中获取价值,而不管他们是否具备机器学习知识。您可以启用异常检测通知,以在检测到异常时触发通知。

实时异常检测功能由 Open Distro for Elasticsearch(Apache 2.0 许可的 Elasticsearch 发行版)提供支持。要详细了解 Open Distro for Elasticsearch 及其异常检测插件,请访问项目网站

异常检测在运行 Elasticsearch 7.4 的所有域上可用,无需额外收费。有关更多信息,请参阅文档

Amazon Elasticsearch Service 的实时异常检测功能现已在全球 22 个区域推出,包括:美国东部(弗吉尼亚北部、俄亥俄)、美国西部(俄勒冈、加利福尼亚北部)、加拿大(中部)、南美洲(圣保罗)、欧洲(爱尔兰、伦敦、法兰克福、巴黎、斯德哥尔摩、米兰)、亚太地区(新加坡、悉尼、东京、首尔、孟买、香港)、中东(巴林)、中国(北京 – 由光环新网运营、宁夏 – 由西云数据运营)、非洲(开普敦)。有关 Amazon Elasticsearch Service 可用性的更多信息,请参阅 AWS 区域表