Tag: Amazon S3

Lambda函数URL是Lambda在4月份新发布的一个特性，允许直接通过函数的URL断点调用Lambda函数。本文介绍如何利用Lambda函数URL+CloudFront实现镜像回源方式从第三方迁移数据至S3.

这篇文章介绍了使用 Amazon EMR 和 Amazon Glue 分析 Amazon S3 中数据时，实现所需性能扩展的最佳实践。我们重点强调了在 Amazon EMR 和 AWS Glue Spark 作业上针对 Apache Spark 进行优化。

企业通常会积累海量数据，并继续生成越来越多的数据量，从 TB 级到 PB 级，有时甚至会生成 EB 级的数据。此类数据通常在不同的系统中生成，需要聚合到一个位置进行分析和生成洞察。借助数据湖架构，您可以聚合各个孤岛中的数据，将其存储在一个集中式存储库中，实施数据治理，并支持基于这些存储的数据进行分析和机器学习（ML）。

这篇文章中，我们使用 Lambda 架构，介绍如何分析业务，以及如何以数据湖为本来形成流批一体的架构。

近年来，我们已经从整体式架构向微服务架构转变。微服务架构使应用程序更易于扩展和更快开发，从而实现创新并加快新功能的上市。但是，这种方法会导致数据存在于不同的孤岛中，这使得执行分析变得困难。为了获得更深入和更丰富的洞察，您应该将不同孤岛中的所有数据集中到一个地方。

讲解Hadoop的由来，以及为何会有Amazon EMR，它们之间的异同之处

大型企业上云过程中，通常会设置多个账号开展业务，企业IT运维人员需要自主负责云端实例内操作系统的运维操作。本文提出了基于亚马逊云科技的云原生服务构建跨账户安全执行操作系统脚本的方案设计。

本博文介绍如何使用Terraform来对Amazon IoT进行规则操作的自动化部署。详细介绍了如何利用Amazon IoT规则操作在DynamoDB，通过Kinesis Data Firehose在S3来存储数据，以及使用Lambda进行数据处理。另外也提供了具体的Terraform部署模版的示例代码，供大家参考，从而更好的让大家能通过Terraform部署模版来自动化部署相关IoT规则操作，更好的便于管理以及可重复应用。

对于IoT设备的管理，设备状态的管理是重要的一项，一般来说我们可以根据Amazon IoT Core提供的设备影子来实时查看设备状态信息。但对于IoT设备的异常断开连接，我们需要一些额外的机制比如LWT来获知设备状态信息。另外，如果有些客户因为某些原因并没有使用设备影子，可以利用Amazon IoT的生命周期事件来查看设备状态并进行管理。本文将详细讲述上述问题的解答。

利用API Gateway，S3，Lambda, NAT实现AWS CodePipeline 北京区域和宁夏区域与GitHub的集成