Tag: Amazon Elasticsearch Service*

Amazon Elasticsearch Service（Amazon ES）支持实时的异常检测，它使用机器学习（ML）主动检测实时流数据中的异常情况。当分析应用程序日志时，它可以用来检测例如异常高的错误率或请求数量的突然变化等异常状况。例如，来自特定地区的食品配送订单数量的突增可能是由于天气变化或该地区用户遇到技术故障造成的。发现这种异常情况可以促进对事件的快速调查和补救。

Amazon DocumentDB (兼容MongoDB)是一项快速、可扩展、具备高可用性的全托管文档数据库服务，可支持MongoDB工作负载。您可以使用相同的MongoDB应用程序代码、驱动程序与工具运行、管理并扩展Amazon DocumentDB上的工作负载，且不必分神于底层基础设施管理事务。作为一套文档数据库，Amazon DocumentDB极大简化了对JSON数据的存储、查询与索引流程。

为了让更多的 AWS 用户能够方便地分析系统的安全情况，大中华区企业支持团队根据与企业客户协作的实际经验，创建了基于Elasticsearch的WAF日志分析系统方案。

Elasticsearch近几年的热度持续增长，有着非常广泛的应用场景，而AWS作为云计算的领导者，不可或缺地提供托管的Elasticsearch服务 — Amazon Elasticsearch Service（简称AES），在今年的5月份，AWS正式上线了创新性的Ultrawarm节点，使得AES支持业界流行的Hot-Warm存储架构，整体存储成本大大降低，为用户提供更好的性价比。本文将向您介绍如何规划具有Hot-Warm架构的AES集群。

在本篇博文中，我们了解了如何使用Amazon ES对GuardDuty的发现结果进行聚合、搜索与分析。这套解决方案有助于深入了解当前AWS环境中各类潜在的未授权与恶意活动。借助这些信息，您可以决定何时对所有账户中发生的事件采取措施。

通过AWS WAF Web ACL 的访问日志，我们可以分析Web应用程序接收到的各类请求。在本文中，我们了解了如何使用Amazon Easticsearch Service作为AWS WAF日志的发送目的地，也讲解了如何搜索日志数据并以其为基础构建图形与仪表板。Amazon ES只是原生日志交付的可选目的地之一。

在加入AWS之前，我曾领导过一支开发团队，负责使用Elasticsearch构建移动广告解决方案。Elasticsearch是一款高人气开源搜索与分析引擎，适用于日志分析、实时应用程序监控、点击流分析以及搜索等多种场景。我负责的这套平台在推动公司业务中，发挥着至关重要的作用。

在本文中，我们理解了异常检测的目标，并探讨了异常检测模型与输出结果方面的详细信息。目前，大家可以轻松从Amazon ES以及Open Distro for Elasticsearch当中获得这些功能。最后，我们还将异常检测工具的结果与两种常用模型进行了比较，并观察到相当可观的性能改进。

我们正处于大数据和机器学习的时代。非结构化数据在数据中的占比越来越高，而在这些非结构化数据中，占据主导位置的是机器生成的日志数据。随着使用微服务，容器和机器学习构建越来越多的应用程序，机器生成的日志数据量已经呈现出指数增长的态势，因此对于日志的管理、分析、挖掘也提出了更高的挑战。为了快速解决运营和安全问题，对这些数据进行实时分析已变得至关重要。几年前，我们发布了Amazon Elasticsearch Service。它是一个完全托管的日志分析服务，使部署、管理和扩展Elasticsearch和Kibana变得更加容易。

k-NN算法是经典的机器学习算法之一，是用于分类和回归的非参数方法。本文将介绍如何使用 Amazon Elasticsearch Service 构建 k 近邻 (k-NN) 相似度搜索。