亚马逊AWS官方博客

Tag: Amazon Elasticsearch Service*

预处理日志以便在 Amazon ES 中进行异常检测

Amazon Elasticsearch Service(Amazon ES)支持实时的异常检测,它使用机器学习(ML)主动检测实时流数据中的异常情况。当分析应用程序日志时,它可以用来检测例如异常高的错误率或请求数量的突然变化等异常状况。例如,来自特定地区的食品配送订单数量的突增可能是由于天气变化或该地区用户遇到技术故障造成的。发现这种异常情况可以促进对事件的快速调查和补救。

Read More

使用Amazon Elasticsearch Service在Amazon DocumentDB (兼容MongoDB)的数据上运行全文搜索查询

Amazon DocumentDB (兼容MongoDB)是一项快速、可扩展、具备高可用性的全托管文档数据库服务,可支持MongoDB工作负载。您可以使用相同的MongoDB应用程序代码、驱动程序与工具运行、管理并扩展Amazon DocumentDB上的工作负载,且不必分神于底层基础设施管理事务。作为一套文档数据库,Amazon DocumentDB极大简化了对JSON数据的存储、查询与索引流程。

Read More

规划具有 Hot-Warm 架构的 Amazon Elasticsearch Service 集群

Elasticsearch近几年的热度持续增长,有着非常广泛的应用场景,而AWS作为云计算的领导者,不可或缺地提供托管的Elasticsearch服务 — Amazon Elasticsearch Service(简称AES),在今年的5月份,AWS正式上线了创新性的Ultrawarm节点,使得AES支持业界流行的Hot-Warm存储架构,整体存储成本大大降低,为用户提供更好的性价比。本文将向您介绍如何规划具有Hot-Warm架构的AES集群。

Read More

如何使用 Amazon Elasticsearch Service 分析 AWS WAF 日志

通过AWS WAF Web ACL 的访问日志,我们可以分析Web应用程序接收到的各类请求。在本文中,我们了解了如何使用Amazon Easticsearch Service作为AWS WAF日志的发送目的地,也讲解了如何搜索日志数据并以其为基础构建图形与仪表板。Amazon ES只是原生日志交付的可选目的地之一。

Read More

在 Amazon Elasticsearch Service 中使用 Random Cut Forests 实现实时异常检测

在本文中,我们理解了异常检测的目标,并探讨了异常检测模型与输出结果方面的详细信息。目前,大家可以轻松从Amazon ES以及Open Distro for Elasticsearch当中获得这些功能。最后,我们还将异常检测工具的结果与两种常用模型进行了比较,并观察到相当可观的性能改进。

Read More

为云端海量日志分析优化的分级存储 – Amazon Elasticsearch Service 中的 UltraWarm

我们正处于大数据和机器学习的时代。非结构化数据在数据中的占比越来越高,而在这些非结构化数据中,占据主导位置的是机器生成的日志数据。随着使用微服务,容器和机器学习构建越来越多的应用程序,机器生成的日志数据量已经呈现出指数增长的态势,因此对于日志的管理、分析、挖掘也提出了更高的挑战。为了快速解决运营和安全问题,对这些数据进行实时分析已变得至关重要。几年前,我们发布了Amazon Elasticsearch Service。它是一个完全托管的日志分析服务,使部署、管理和扩展Elasticsearch和Kibana变得更加容易。

Read More