Tag: Amazon Simple Storage Service (Amazon S3)

本文介绍了如何使用Log Hub快速部署方案创建一个WAF的日志分析系统。这个系统，对于有安全运营需求的企业是非常必要的。通过快速部署这个系统，我们可以在一个比较成熟的企业云设施里快速启用一个日志分析系统。 有了这个日志分析系统，我们基本可以通过无代码的方式完成安全运营的工作了。本文的主要部署部分都是以CloudFormation部署完成，特别适合已经有VPC架构的成熟企业。

本文介绍了如何使用亚马逊云科技的OpenSearch创建一个WAF的日志分析系统。有了这个日志分析系统，我们基本可以以无代码的方式完成安全运营的工作了。

本文通过五个步骤完成亚马逊云科技WAF的启用和配置工作。并且把WAF日志存储在S3桶，能够使用Athena进行历史日志的查询。可以满足基本的归档查询需要。本文介绍的WAF防护的Web ACL和Rule可以作为一个生产用的WAF防护策略达到OWASP和SQL注入攻击防护的要求。并使用S3存储桶记录WAF日志的方法保证用户可以存储合乎行业和法规要求的时间长度的WAF日志。并可以通过Athena进行类SQL语言的查询方法来回溯日志。

ClickHouse是一款用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它可以被用于多种场景，如电子商务中用户行为数据的记录和分析，广告网络及电信行业中的数据存储和数据统计，信息安全中的日志分析，遥感中的信息挖掘，商业智能、网络游戏以及物联网中的数据处理和价值数据分析等。本文介绍的解决方案可以帮助客户一键部署高可用的ClickHouse集群，大幅降低采用门槛。

AWS容器服务团队在2020年10月发布了Fluent Bit supports Amazon S3 as a destination to route container logs功能，集成在fluent/fluent-bit:1.6.0和amazon/aws-for-fluent-bit:2.8.0镜像中。EKS用户可以通过Fluent Bit将应用日志保存在Amazon S3中。

如果您希望通过Amazon Kinesis来进行数据收集和分析，但是应用开发已经完成或上线，且应用中使用了Kafka集群，那么本篇博客将带领您通过Kafka Connect轻松的将现有Kafka集群中的数据传输到Kinesis中。