动手视频
LogHub 解决方案介绍
LogHub demo 演示
LogHub PPT+demo 演示
LogHub-3.Syslog
LogHub-4.AutoScalingGroup
LogHub-1+2.缓冲区模式
LogHub-V1.2-5.日志过滤器
LogHub-V1.2-6+7.时间字段与时区
LogHub-V1.2-8.实例组管理
LogHub 解决方案介绍
LogHub demo 演示
LogHub PPT+demo 演示
LogHub-3.Syslog
LogHub-4.AutoScalingGroup
LogHub-1+2.缓冲区模式
LogHub-V1.2-5.日志过滤器
LogHub-V1.2-6+7.时间字段与时区
LogHub-V1.2-8.实例组管理
应用场景
通用参考架构
使用 Amazon Athena 实现即时查询
01 爬网程序通过扫描数据湖及关系型数据库来填充 Glue 数据目录
02 数据目录作为元数据供数据平台使用
03 Lake Formation 能够实现对编目数据表的精细化访问控制
04 数据目录作为元数据供数据平台使用
05 Athena 可以在不移动数据的情况下通过数据目录访问外表
06 Quicksight 中的报表开发人员可在 Athena 运行一个复杂查询,将数据保存至 SPICE 供后续快速访问
07 可以通过 Athena 数据及在 QuickSight 中创建报表大屏
![即时查询](https://d1.awsstatic.com/xubxu/image/gain-insights/smb-gain-insights-architecture-5.a7948564ac4dafcf09394e633584bb48a6e45a09.png)
使用 Amazon Athena、Amazon Redshift 同时查询数据湖和数据仓库
01 业务数据存储在 Reshift,原始数据、时间数据存储在数据湖
02 爬网程序通过扫描数据湖及关系型数据库来填充 Glue 据目录
03 Lake Formation 能够实现对编目数据表的精细化访问控制
04 Athena 可以在不移动数据的情况下通过数据目录访问外表
05 QuickSight 中的报表开发人员可组合 Athena 及 Redshift 中的数据,保存至 SPICE 供后续快速访问
06 在数据移动量最小的情况下在 QuickSight 中创建报表大屏
![数据湖和数据仓库同步查询](https://d1.awsstatic.com/xubxu/image/gain-insights/smb-gain-insights-architecture-6.5597d3f7ae7ea7411da9d5134e81067d4bf05af4.png)
![加载数据至数据仓库](https://d1.awsstatic.com/xubxu/image/gain-insights/smb-gain-insights-architecture-7.583d18e00fb81f13db4cd740b06ea6b40e5e5a23.png)
批处理
01 各种数据源的数据均可通过工具导出至 AmazonS3 集中存储
02 通过 Amazon Lambda 按照需要将 S3 中的数据处理任务分批提交至数据聚合及加载层
03 通过使用 Amazon EMR/Glue 执行数据聚合任务,并将结果加载至 Redshift。
![批处理](https://d1.awsstatic.com/xubxu/image/gain-insights/smb-gain-insights-architecture-8.a60ce6d74e94bae9a94e81009034a0fd1857bb05.png)
流式处理
01 流式数据通过 SDK 等方式推送至 Amazon Kinesis 数据流
02 Kinesis Data Analytics 提供 Apache Flink 运行环境,从 Kinesis Data Streams 读取数据处理后推送至 Kinesis Data Firehose,然后再将数据最终存储至 S3。
03 Athena 通过 SQL 的方式直接查询存储至 S3 的数据
04 Amazon QuickSight 连接至 Athena 之后可对查询结果进行便捷的可视化
![流式处理](https://d1.awsstatic.com/xubxu/image/gain-insights/smb-gain-insights-architecture-9.40bdae7e0ce32acdcf0346bfabb6ac4cfce87071.png)