Tag: Amazon Simple Storage Service (Amazon S3)

在 AWS 上，Amazon S3 可以直接通过 HTTP 协议对外提供资源，配合 CDN 服务 CloudFront 即可实现前端应用的快速部署。由于中国区的一些特殊情况，使用 S3 + CloudFront 需要一些不同于 Global 的额外配置，本文即解决这些问题。

本文介绍了如何使用亚马逊云科技的OpenSearch创建一个WAF的日志分析系统。有了这个日志分析系统，我们基本可以以无代码的方式完成安全运营的工作了。

这篇博文重点介绍了将数以百万计的日志文件归档到Amazon S3 Glacier 存储层中的一些成本相关的考虑因素。

通过AI把用户留言进行了更细粒度的分析，使得客户可以更精准地对（几千倍几万倍的机器标签）用户进行分类，从而在广告投放、行为诱导、客户服务和产品升级方面有更优化的方法。

Amazon Athena 是一种交互式查询服务，可使用标准 SQL 轻松分析 Amazon Simple Storage Service（Amazon S3）中的数据。Athena 是一种无服务器服务，因此您无需管理任何基础设施，而且只需为所运行的查询付费。2019 年，Athena 增加了对联合查询的支持，以便跨存储在关系、非关系、对象和自定义数据来源中的数据运行 SQL 查询。

本文介绍了如何使用Log Hub快速部署方案创建一个WAF的日志分析系统。这个系统，对于有安全运营需求的企业是非常必要的。通过快速部署这个系统，我们可以在一个比较成熟的企业云设施里快速启用一个日志分析系统。 有了这个日志分析系统，我们基本可以通过无代码的方式完成安全运营的工作了。本文的主要部署部分都是以CloudFormation部署完成，特别适合已经有VPC架构的成熟企业。

本文介绍了如何使用亚马逊云科技的OpenSearch创建一个WAF的日志分析系统。有了这个日志分析系统，我们基本可以以无代码的方式完成安全运营的工作了。

本文通过五个步骤完成亚马逊云科技WAF的启用和配置工作。并且把WAF日志存储在S3桶，能够使用Athena进行历史日志的查询。可以满足基本的归档查询需要。本文介绍的WAF防护的Web ACL和Rule可以作为一个生产用的WAF防护策略达到OWASP和SQL注入攻击防护的要求。并使用S3存储桶记录WAF日志的方法保证用户可以存储合乎行业和法规要求的时间长度的WAF日志。并可以通过Athena进行类SQL语言的查询方法来回溯日志。

ClickHouse是一款用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它可以被用于多种场景，如电子商务中用户行为数据的记录和分析，广告网络及电信行业中的数据存储和数据统计，信息安全中的日志分析，遥感中的信息挖掘，商业智能、网络游戏以及物联网中的数据处理和价值数据分析等。本文介绍的解决方案可以帮助客户一键部署高可用的ClickHouse集群，大幅降低采用门槛。

AWS容器服务团队在2020年10月发布了Fluent Bit supports Amazon S3 as a destination to route container logs功能，集成在fluent/fluent-bit:1.6.0和amazon/aws-for-fluent-bit:2.8.0镜像中。EKS用户可以通过Fluent Bit将应用日志保存在Amazon S3中。