时间:已结束
作为大数据工程师经常要面对流式数据处理的需求,在AWS上有Amazon Kinesis 服务可以帮助用户以流式处理方式收集不同数据来源的数据,同时有 Amazon EMR 服务可以提供托管的Hadoop群集和Spark群集。在本次研讨会中我们会讨论如何使用Amazon Kinesis 接受不同数据来源的数据,并通过 Amazon EMR 上的 Spark Streaming 方式对数据进行流式处理。
学习要点:
- Amazon Kinesis快速介绍
- KCL工作原理
- Spark Streaming 如何获取 Kinesis 流式数据
- Spark Streaming数据处理过程
推荐参与人群:大数据工程师