亚马逊AWS官方博客
Tag: Amazon S3
使用 Amazon MSK、Apache Flink 和 Apache Hudi 实现流批一体的数据湖架构
这篇文章中,我们使用 Lambda 架构,介绍如何分析业务,以及如何以数据湖为本来形成流批一体的架构。
使用 Amazon MSK Connect、Apache Flink 和 Apache Hudi 创建低延迟的源到数据湖管道
近年来,我们已经从整体式架构向微服务架构转变。微服务架构使应用程序更易于扩展和更快开发,从而实现创新并加快新功能的上市。但是,这种方法会导致数据存在于不同的孤岛中,这使得执行分析变得困难。为了获得更深入和更丰富的洞察,您应该将不同孤岛中的所有数据集中到一个地方。
Amazon EMR之EMR和Hadoop的前世今生
讲解Hadoop的由来,以及为何会有Amazon EMR,它们之间的异同之处
如何在跨账户环境下安全地执行操作系统脚本
大型企业上云过程中,通常会设置多个账号开展业务,企业IT运维人员需要自主负责云端实例内操作系统的运维操作。本文提出了基于亚马逊云科技的云原生服务构建跨账户安全执行操作系统脚本的方案设计。
使用Terraform对Amazon IoT进行规则操作的自动化部署
本博文介绍如何使用Terraform来对Amazon IoT进行规则操作的自动化部署。详细介绍了如何利用Amazon IoT规则操作在DynamoDB,通过Kinesis Data Firehose在S3来存储数据,以及使用Lambda进行数据处理。另外也提供了具体的Terraform部署模版的示例代码,供大家参考,从而更好的让大家能通过Terraform部署模版来自动化部署相关IoT规则操作,更好的便于管理以及可重复应用。
利用 Amazon IoT 生命周期事件和 LWT 管理设备状态
对于IoT设备的管理,设备状态的管理是重要的一项,一般来说我们可以根据Amazon IoT Core提供的设备影子来实时查看设备状态信息。但对于IoT设备的异常断开连接,我们需要一些额外的机制比如LWT来获知设备状态信息。另外,如果有些客户因为某些原因并没有使用设备影子,可以利用Amazon IoT的生命周期事件来查看设备状态并进行管理。本文将详细讲述上述问题的解答。
AWS CodePipeline与GitHub集成
利用API Gateway,S3,Lambda, NAT实现AWS CodePipeline 北京区域和宁夏区域与GitHub的集成
使用 Amazon Glue DataBrew 对数据进行预处理
使用 Amazon Glue DataBrew 对数据进行预处理
Amazon GameTech 架构最佳实践系列 —— MOBA/FPS数据分析篇
AmazonGameTech架构最佳实践系列,本篇介绍MOBA和FPS类游戏数据收集与分析最佳实践
基于云原生构建的 HPC 平台演示
Blog结合 AWS Serverless 及云原生的HPC服务,演示了相对完整的HPC业务场景,包括前端交互、任务自动化编排及调度、HPC 计算与任务管理,以及CI/CD与基础设施代码化构建业务所需环境。