亚马逊AWS官方博客

Tag: Amazon S3

使用 AWS Glue、Apache Hudi 和 Amazon S3 构建无服务器管道以分析串流数据

企业通常会积累海量数据,并继续生成越来越多的数据量,从 TB 级到 PB 级,有时甚至会生成 EB 级的数据。此类数据通常在不同的系统中生成,需要聚合到一个位置进行分析和生成洞察。借助数据湖架构,您可以聚合各个孤岛中的数据,将其存储在一个集中式存储库中,实施数据治理,并支持基于这些存储的数据进行分析和机器学习(ML)。

Read More

使用 Amazon MSK Connect、Apache Flink 和 Apache Hudi 创建低延迟的源到数据湖管道

近年来,我们已经从整体式架构向微服务架构转变。微服务架构使应用程序更易于扩展和更快开发,从而实现创新并加快新功能的上市。但是,这种方法会导致数据存在于不同的孤岛中,这使得执行分析变得困难。为了获得更深入和更丰富的洞察,您应该将不同孤岛中的所有数据集中到一个地方。

Read More

使用Terraform对Amazon IoT进行规则操作的自动化部署

本博文介绍如何使用Terraform来对Amazon IoT进行规则操作的自动化部署。详细介绍了如何利用Amazon IoT规则操作在DynamoDB,通过Kinesis Data Firehose在S3来存储数据,以及使用Lambda进行数据处理。另外也提供了具体的Terraform部署模版的示例代码,供大家参考,从而更好的让大家能通过Terraform部署模版来自动化部署相关IoT规则操作,更好的便于管理以及可重复应用。

Read More

利用 Amazon IoT 生命周期事件和 LWT 管理设备状态

对于IoT设备的管理,设备状态的管理是重要的一项,一般来说我们可以根据Amazon IoT Core提供的设备影子来实时查看设备状态信息。但对于IoT设备的异常断开连接,我们需要一些额外的机制比如LWT来获知设备状态信息。另外,如果有些客户因为某些原因并没有使用设备影子,可以利用Amazon IoT的生命周期事件来查看设备状态并进行管理。本文将详细讲述上述问题的解答。

Read More