Tag: Elasticsearch

AWS将出面创建并并维护一个ALv2授权的开源Elasticsearch与Kibana分支。

为了让更多的 AWS 用户能够方便地分析系统的安全情况，大中华区企业支持团队根据与企业客户协作的实际经验，创建了基于Elasticsearch的WAF日志分析系统方案。

我们正处于大数据和机器学习的时代。非结构化数据在数据中的占比越来越高，而在这些非结构化数据中，占据主导位置的是机器生成的日志数据。随着使用微服务，容器和机器学习构建越来越多的应用程序，机器生成的日志数据量已经呈现出指数增长的态势，因此对于日志的管理、分析、挖掘也提出了更高的挑战。为了快速解决运营和安全问题，对这些数据进行实时分析已变得至关重要。几年前，我们发布了Amazon Elasticsearch Service。它是一个完全托管的日志分析服务，使部署、管理和扩展Elasticsearch和Kibana变得更加容易。

现代数据湖依靠提取、转换和加载 (ETL) 操作将大量信息转换为可用数据。本文将指导您实施 ETL 编排流程，该流程使用 AWS Step Functions、AWS Lambda 和 AWS Batch 实现松散耦合，以便创建 Amazon Redshift 集群。

4 月 8 日，Amazon ES 推出了事件监控和警报支持。要使用此功能，您可以使用带有触发器（即您设置的特定触发条件，指示监视器何时发送警报）的监控 Monitor（即事先安排的作业）。警报是发生触发条件的通知。触发器触发时，监控 Monitor 将执行特定操作（向目标发送消息）。
本文使用模拟的物联网 Device Farm 生成数据并将数据发送到 Amazon ES。