适用于通用企业的商业智能

本白皮书深入讨论了在亚马逊云科技上为游戏构建数据湖的最佳实践。它旨在帮助游戏开发人员最大化其玩家数据的价值，以实现更好的游戏设计、开发、变现见解和策略。

行业属性：游戏行业

客户场景：游戏行业中的数据分析包括多个场景，对于游戏运营分析人员来说，主要工作是实时掌握游戏动态，全面评估运营活动效果。游戏运营分析系统需要满足以下要求：

1、埋点/日志数据需实时存入数据湖；  2、数据湖中能快速查询分析数据；  3、可对近期数据频繁查询、历史数据低频查询

方案概述：将 Amazon S3 作为数据中心，通过不同方式将结构化/非结构化数据导入 Amazon S3 中。Amazon Elastic Map Reduce 可根据业务需求对存储于 Amazon S3 中的数据进行抽取转换加载 (ETL)，将数据处理成需要的格式，并将其落盘到相对应的位置。为优化成本，还可以将热数据放在 Amazon Redshift 上提供快速查询，历史数据则放在 Amazon S3 通过 Spectrum 查询。

Centralized Logging with OpenSearch（日志通）可帮助组织使用 Amazon OpenSearch Service 收集、查询以及可视化各种来源的日志数据，其主要功能如下

• 一体化日志注入：使用 Web 控制台快速摄取 9 种亚马逊云科技服务日志以及 Amazon EC2，Amazon EKS 上的应用日志，快速搭建一个集中式日志管理平台。

• 开箱即用的可视化报表：日志自动创建可视化分析报表，加速日志分析的流程，助力运维和故障排查。

• 低代码日志富化：内置日志富化插件，无需任何代码即可根据日志内容增加地理位置，user agent 等信息，丰富日志分析维度。

帮助客户在亚马逊云科技上快速搭建一个灵活、高性价比、自主可控的埋点收集分析系统。该方案将数据管道的创建及配置自动化，并提供了 SDK（包括 JavaScript、iOS 及 Android）以帮助开发者将客户端数据采集至云端。其主要特点如下

• 可视化数据管道配置：用户只需要鼠标点击即可创建一条满足您企业需求的数据管道，并通过内置的端到端监控仪表盘，实时提供数据收集和处理的状态，实现无忧运维。

• 埋点专用 SDK：该方案配备采集用户行为的专用 SDK，能够自动采集多种用户行为事件，并且提供简单易用的 API，大幅简化数据采集过程，以极低延迟采集数据到云端。

• 低代码日志富化：该方案完全开源，可免费用于商业用途，并且使用了多种无服务器架构的分析服务，资源自动弹性伸缩，企业只需要为实际的使用量付费，性价比高。

01  业务数据存储在 Reshift，原始数据、时间数据存储在数据湖

02  爬网程序通过扫描数据湖及关系型数据库来填充 Glue 据目录

03  Lake Formation 能够实现对编目数据表的精细化访问控制

04  Athena 可以在不移动数据的情况下通过数据目录访问外表

05  QuickSight 中的报表开发人员可组合 Athena 及 Redshift 中的数据,保存至 SPICE 供后续快速访问

06  在数据移动量最小的情况下在 QuickSight 中创建报表大屏

01  将数据下载并存放至 S3

02  通过调度作业清洗并转换数据

03  通过关系型及非关系型数据集填充数据

04  方式加载数据至数仓

05  运行每日报表

01  各种数据源的数据均可通过工具导出至 AmazonS3 集中存储

02  通过 Amazon Lambda 按照需要将 S3 中的数据处理任务分批提交至数据聚合及加载层

03  通过使用 Amazon EMR/Glue 执行数据聚合任务，并将结果加载至 Redshift。

01  流式数据通过 SDK 等方式推送至 Amazon Kinesis 数据流

02  Kinesis Data Analytics 提供 Apache Flink 运行环境，从 Kinesis Data Streams 读取数据处理后推送至 Kinesis Data Firehose，然后再将数据最终存储至 S3。

03  Athena 通过 SQL 的方式直接查询存储至 S3 的数据

04  Amazon QuickSight 连接至 Athena 之后可对查询结果进行便捷的可视化