适用于通用企业的商业智能
亚马逊云科技的数据分析服务能构建几乎任何数据分析应用程序,可帮助客户收集、存储、处理、分析和可视化云中的数据,实现包括数据仓库、点击流分析、欺诈侦测、推荐引擎、事件驱动 ETL(抽取转换加载)、无服务器计算和物联网处理等多种典型应用。客户借助亚马逊云科技提供的数据分析服务,无需购买硬件,也无需维护和扩展基础设施,可将资源集中用于发掘新的洞察。
适用于通用企业的商业智能
亚马逊云科技的数据分析服务能构建几乎任何数据分析应用程序,可帮助客户收集、存储、处理、分析和可视化云中的数据,实现包括数据仓库、点击流分析、欺诈侦测、推荐引擎、事件驱动 ETL(抽取转换加载)、无服务器计算和物联网处理等多种典型应用。客户借助亚马逊云科技提供的数据分析服务,无需购买硬件,也无需维护和扩展基础设施,可将资源集中用于发掘新的洞察。

动手视频
动手视频
LogHub-3.Syslog
LogHub-4.AutoScalingGroup
LogHub-1+2.缓冲区模式
LogHub demo 演示

应用场景
应用场景

亚马逊云科技数据分析解决方案及参考架构
亚马逊云科技数据分析解决方案及参考架构
-
电商运营分析解决方案
-
游戏运营分析解决方案
-
开箱即用解决方案
-
电商运营分析解决方案
-
电商运营分析解决方案
行业属性电商行业客户场景电商运营核心关注的三要素是用户、商品、平台。电商的商品品类 (SKU) 种类繁多,行业竞争白热化,重视优化以及精细化运营才有可能加速业务增长。综合客户端用户行为数据和电商平台数据库中的用户数据、订单数据和商品库数据,经过数据分析系统得到网站流量指标、销售转化指标、客户价值指标及其他指标为运营人员在决策中提供数据支撑。
方案概述亚马逊云科技提供了数据收集、抽取转换加载 (ETL)、数仓分析、BI 展示等多种分析服务,可为不同数据源提供多种数据摄入的管道,存储于 Amazon S3,再通过 Amazon EMR 或其他工具进行ETL清洗后存储至 Amazon Redshift,供运营团队进行查询、生成报表,并借助 Amazon QuickSight 等工具提供可视化视图。
-
游戏运营分析解决方案
-
游戏运营分析解决方案
行业属性游戏行业客户场景游戏行业中的数据分析包括多个场景,对于游戏运营分析人员来说,主要工作是实时掌握游戏动态,全面评估运营活动效果。游戏运营分析系统需要满足以下要求:
- 埋点/日志数据需实时存入数据湖;
- 数据湖中能快速查询分析数据;
- 可对近期数据频繁查询、历史数据低频查询
方案概述将 Amazon S3 作为数据中心,通过不同方式将结构化/非结构化数据导入 Amazon S3 中。Amazon Elastic Map Reduce 可根据业务需求对存储于 Amazon S3 中的数据进行抽取转换加载 (ETL),将数据处理成需要的格式,并将其落盘到相对应的位置。为优化成本,还可以将热数据放在 Amazon Redshift 上提供快速查询,历史数据则放在 Amazon S3 通过 Spectrum 查询。
- 埋点/日志数据需实时存入数据湖;
-
开箱即用解决方案
-
日志通
Centralized Logging with OpenSearch(日志通)可帮助组织使用 Amazon OpenSearch Service 收集、查询以及可视化各种来源的日志数据,其主要功能如下一体化日志注入
使用 Web 控制台快速摄取 9 种亚马逊云科技服务日志以及 Amazon EC2,Amazon EKS 上的应用日志,快速搭建一个集中式日志管理平台。
开箱即用的可视化报表
日志自动创建可视化分析报表,加速日志分析的流程,助力运维和故障排查。
低代码日志富化
内置日志富化插件,无需任何代码即可根据日志内容增加地理位置,user agent 等信息,丰富日志分析维度。
点击流分析
帮助客户在亚马逊云科技上快速搭建一个灵活、高性价比、自主可控的埋点收集分析系统。该方案将数据管道的创建及配置自动化,并提供了 SDK(包括 JavaScript、iOS 及 Android)以帮助开发者将客户端数据采集至云端。其主要特点如下可视化数据管道配置
用户只需要鼠标点击即可创建一条满足您企业需求的数据管道,并通过内置的端到端监控仪表盘,实时提供数据收集和处理的状态,实现无忧运维。
埋点专用 SDK
该方案配备采集用户行为的专用 SDK,能够自动采集多种用户行为事件,并且提供简单易用的 API,大幅简化数据采集过程,以极低延迟采集数据到云端。
低代码日志富化
该方案完全开源,可免费用于商业用途,并且使用了多种无服务器架构的分析服务,资源自动弹性伸缩,企业只需要为实际的使用量付费,性价比高。

通用参考架构
通用参考架构
-
及时查询
-
数据湖和数据仓库同步查询
-
加载数据至数据仓库
-
批处理
-
流式处理
-
及时查询
-
使用 Amazon Athena 实现即时查询
01爬网程序通过扫描数据湖及关系型数据库来填充 Glue 数据目录03Lake Formation 能够实现对编目数据表的精细化访问控制02数据目录作为元数据供数据平台使用04Athena 可以在不移动数据的情况下通过数据目录访问外表05Quicksight 中的报表开发人员可在 Athena 运行一个复杂查询,将数据保存至 SPICE 供后续快速访问06可以通过 Athena 数据及在 QuickSight 中创建报表大屏 -
数据湖和数据仓库同步查询
-
使用 Amazon Athena、Amazon Redshift 同时查询数据湖和数据仓库
01业务数据存储在 Reshift,原始数据、时间数据存储在数据湖03Lake Formation 能够实现对编目数据表的精细化访问控制02爬网程序通过扫描数据湖及关系型数据库来填充 Glue 据目录04Athena 可以在不移动数据的情况下通过数据目录访问外表05QuickSight 中的报表开发人员可组合 Athena 及 Redshift 中的数据,保存至 SPICE 供后续快速访问06在数据移动量最小的情况下在 QuickSight 中创建报表大屏 -
加载数据至数据仓库
-
加载数据至数据仓库
01将数据下载并存放至 S303通过关系型及非关系型数据集填充数据02通过调度作业清洗并转换数据04方式加载数据至数仓05运行每日报表 -
批处理
-
批处理
01各种数据源的数据均可通过工具导出至 AmazonS3 集中存储02通过 Amazon Lambda 按照需要将 S3 中的数据处理任务分批提交至数据聚合及加载层03通过使用 Amazon EMR/Glue 执行数据聚合任务,并将结果加载至 Redshift。 -
流式处理
-
流式处理
01流式数据通过 SDK 等方式推送至 Amazon Kinesis 数据流02Kinesis Data Analytics 提供 Apache Flink 运行环境,从 Kinesis Data Streams 读取数据处理后推送至 Kinesis Data Firehose,然后再将数据最终存储至 S3。03Athena 通过 SQL 的方式直接查询存储至 S3 的数据04Amazon QuickSight 连接至 Athena 之后可对查询结果进行便捷的可视化

亚马逊云科技 Marketplace 解决方案
亚马逊云科技 Marketplace 解决方案

帆软
FineReport 是帆软软件有限公司自主研发的一款企业级 web 报表软件产品,它"专业、简捷、灵活",仅需简单的拖拽操作便可设计出复杂的中国式报表、参数查询报表、填报表、驾驶舱等,轻松搭建数据决策分析系统。

Kyligence Cloud
Kyligence Cloud 以 Apache Kylin 企业版为核心,充分发挥其高性能、高并发等优势。借助于云原生的架构,用户可以在亚马逊云上快速部署 Kyligence Cloud,接入各种云端数据源并进行建模分析,同时基于统一的语义层,助力业务分析师和数据科学家快速洞察数据内在价值,驱动商业决策。

神策数据
神策数据立足大数据及用户行为分析的技术与实践前沿,为企业提供神策营销云、神策分析云、神策数据三大产品方案,通过全渠道的数据采集与全域用户 ID 打通,全场景多维度数据分析,全通道的精准用户触达,为客户打造基于 SDAF 运营框架的数据闭环,帮助企业实现数字化经营。

恒石科技
亚马逊云科技上的 HENGSHI SENSE 是衡石科技在业界率先推出的 Analytics as a Service 形态的企业级一站式分析云。HENGSHI SENSE 能够有效聚合多源异构数据,将 IT 部门的数据准备工作、数据分析师的分析建模工作和业务人员的自助分析服务深度整合,形成企业内部相互协同的数据中台,推动落地数据驱动文化。

客户案例
客户案例

思朝科技
思朝科技将原有云平台上自建的数据库与分析应用整体迁移至亚马逊云科技提供的托管服务后,大幅缩短了数据处理、查询的时间,并提升了容灾能力。在客户联络体验优化方面,思朝科技借助 Amazon Connect 云联络中心为客服坐席提供人工智能与机器学习辅助,提升客户体验。在安全方面,思朝科技借助亚马逊云科技一系列安全与合规服务,让安全基线分值提升 3 倍。

Early Data
Early Data 所获取的数据规模不断扩大,数据计算与存储成本持续攀升。Early Data 采用了亚马逊云科技提供的一系列官方工具和指南,仅用 8 天,就将电商业务的后台从 SQL Server 平滑迁移到了 Amazon Aurora PostgreSQL 托管数据库服务,并且完成了功效验证和应用改造,摆脱了原有平台的限制,并节省 50% 以上的数据库成本。

基智科技
基智科技基于 AI+ 大数据技术为 To B 企业提供全流程智能销售服务。将Stepone 机智云一站式智能营销获客平台迁移至亚马逊云科技后,借助亚马逊云科技的托管大数据框架 ,4 周内就完成了迁移部署;针对不同场景和任务规模的大数据分析效率提升了 2 倍;同时开发人员的开发效率也获得了2 倍的提升,让基智科技可轻松实现多维度数据分析,并获得更好的营销成果。

派拉软件
派拉软件作为国内一体化零信任安全的企业之一,拥有完整的零信任产品体系。通过采用 Amazon Elastic Container Service (Amazon ECS) 、Amazon Simple Storage Service (Amazon S3) 、Amazon Lambda、Amazon Athena、Amazon CloudFormation、Amazon SageMaker 等服务,派拉软件以容器和云原生方式构建了具有良好编程支持和丰富 API 接口的服务,消除传统基于服务器部署的复杂方式,让云原生 IDaaS 平台解决方案更加简单。同时配合亚马逊云科技提供的运维管理工具和专业化服务,派拉软件不仅实现了流程化的运行管理,还极大的提升了安全性。

HABBY
HABBY 专注于在移动平台上面向全球玩家发布精品游戏。游戏后端不仅需要大量的计算和存储资源支撑,还需要构建数据分析和广告监控系统,如果采用自建的方式,很难在短时间内做到全球化部署。HABBY 借助 Amazon Kinesis Data Firehose、Amazon Athena、Amazon Redshift 及 QuickSight 等数据分析服务,依托亚马逊云科技构建了游戏及玩家数据的分析平台,为运营提供更有效的决策与建议。