亚马逊AWS官方博客

Tag: Amazon Elasticsearch Service*

如何使用 Amazon Elasticsearch Service 分析 AWS WAF 日志

通过AWS WAF Web ACL 的访问日志,我们可以分析Web应用程序接收到的各类请求。在本文中,我们了解了如何使用Amazon Easticsearch Service作为AWS WAF日志的发送目的地,也讲解了如何搜索日志数据并以其为基础构建图形与仪表板。Amazon ES只是原生日志交付的可选目的地之一。

Read More

在 Amazon Elasticsearch Service 中使用 Random Cut Forests 实现实时异常检测

在本文中,我们理解了异常检测的目标,并探讨了异常检测模型与输出结果方面的详细信息。目前,大家可以轻松从Amazon ES以及Open Distro for Elasticsearch当中获得这些功能。最后,我们还将异常检测工具的结果与两种常用模型进行了比较,并观察到相当可观的性能改进。

Read More

为云端海量日志分析优化的分级存储 – Amazon Elasticsearch Service 中的 UltraWarm

我们正处于大数据和机器学习的时代。非结构化数据在数据中的占比越来越高,而在这些非结构化数据中,占据主导位置的是机器生成的日志数据。随着使用微服务,容器和机器学习构建越来越多的应用程序,机器生成的日志数据量已经呈现出指数增长的态势,因此对于日志的管理、分析、挖掘也提出了更高的挑战。为了快速解决运营和安全问题,对这些数据进行实时分析已变得至关重要。几年前,我们发布了Amazon Elasticsearch Service。它是一个完全托管的日志分析服务,使部署、管理和扩展Elasticsearch和Kibana变得更加容易。

Read More

Amazon Kinesis 更新& Amazon Elasticsearch Service 集成,分片级指标和基于时间的迭代器

Amazon Kinesis 让您在云中轻松实现流数据处理。Amazon Kinesis 平台由三种不同的服务组成:Kinesis Streams 允许开发人员构建自己的流处理应用程序;Kinesis Firehose 简化了将流数据加载到 AWS 以进行存储和分析的过程;Kinesis Analytics 支持分析人员使用标准 SQL 查询分析流数据。

Read More

使用 Amazon Kinesis Firehose、AWS Lambda 和 Amazon Elasticsearch Service 摄取、聚合和可视化 Apache 日志的无服务器扩展

2016 年,AWS 推出了EKK 堆栈(Amazon Elasticsearch Service、Amazon Kinesis 和 Kibana),作为 ELK(Amazon Elasticsearch Service、开源工具 Logstash 和Kibana)的替代品,用于提取和可视化 Apache 日志。EKK 堆栈的主要功能之一是通过 Amazon Kinesis Firehose 代理处理数据转换。在本文中,我们将介绍如何优化 EKK 解决方案 — 通过 AWS Lambda 处理 Amazon Kinesis Firehose 中的数据转换。

Read More