亚马逊AWS官方博客

AWS Team

Author: AWS Team

Amazon EMR在FreeWheel的应用与实践

FreeWheel大数据团队在搭建数据仓库的过程中,在EMR的使用上积累了大量的实践和运维经验,本文将从EMR实践的角度出发,讲述FreeWheel Transformer团队在搭建ETL pipeline的过程中是如何玩转EMR的,以期抛砖引玉。

基于Amazon Kinesis Video Streams实现 IP Camera云存项目

近年来市场上IP Camera产品价格持续走低,硬件利润单薄,很多厂商通过增值服务发力,增值服务比较成熟的业务形态是云端存储,其实现方式是设备检测报警事件触发一段视频上传云端并提供终端用户回看从而产生收费。Amazon Kinesis Video Streams实现云存业务优势明显,提供Device SDK摄取视频并上传Endpoint,终端用户可以基于HLS/DASH主流的协议播放观看。

Amazon Glue ETL作业调度工具选型初探

Amazon Glue是一项完全托管,无服务器架构的ETL服务。客户无需预置基础设置,只需要专注开发ETL代码,并且使用Amazon Glue时,只需为ETL作业运行时间付费。 在迁移现有ETL任务到Glue的过程中,有可能面临编排选型的问题。本文就编排选型,如何实现自动化迁移工作流,减少开发人员适配工作上做一定的探索。