幂集广告及大数据分析系统借助AWS轻松应对近亿日均流量

2020

上海幂集软件有限公司(以下简称“幂集”)是视若飞集团旗下的全资子公司,成立于2019年。作为一家由数据驱动的CTV(Connected TV)广告和运营公司,幂集是专注基于智能电视终端的内容及应用分发、大屏数字营销等多元OTT商业化的卓越平台。幂集成功帮助广告主实现品牌的广泛传播与精准投放,帮助智能电视品牌、内容运营商和应用开发商等合作伙伴在全球范围内高效实现商业化增长。如今,平台日均流量近一亿,日均触达电视终端超过500万台,日均触达电视用户超过1600万。自2019年平台上线以来,幂集已先后与全球20多个知名国际品牌建立长期合作伙伴关系。

业务需求与挑战

幂集自成立以来一直深耕海外市场,随着市场规模的不断拓展,幂集的业务覆盖了从拉美到欧洲,再到北美、中东等20多个国家和地区,实现了全球化布局。但基于这种跨地域的复杂业务环境,幂集需要对广泛收集的数据实现归类、整理、分析及挖掘等,获取用户特点以及潜在需求,为广告主提供面向精准目标受众群的广告投放、产品定向营销等服务,这是幂集面临的第一个难题。
大规模、高并发是广告行业的突出特点,对于智能电视广告来说同样如此。现阶段,幂集在诸如巴西等国的发展始终呈上升趋势。据统计,幂集广告平台日均收到约5000万次广告请求,若海外业务进一步扩展,幂集广告平台在单个国家的单日请求次数即可突破亿级大关。如此庞大的瞬时流量爆发,就要求平台在容量扩展方面具备高弹性、精细化管理资源用量,以便在各个国家和地区的业务能够实现灵活扩展。
此外,由于幂集的业务均在海外,因此公司十分看重底层服务的稳定性以及学习成本,希望IT系统能够尽可能实现自动化运维,减少运维压力,从而使开发人员能够全身心投入到技术的研发中。

start a python tutorial
kr_quotemark

借助AWS云服务,幂集在3个月内成功上线广告以及大数据分析双平台,极大地提升了我们的广告投放能力。如今日均平台流量近1亿,日均触达的电视终端超过500万台。”

Ryan Chi

上海幂集软件有限公司  产品管理副总裁 

为什么选择Amazon Web Services

为了应对上述挑战,在经过前期调研后,幂集很快锁定了AWS:第一,AWS提供完善而成熟的产品与解决方案,服务广度与深度在业界有口皆碑,相关服务拥有高SLA承诺及保障,并在行业内有诸多“上云”的最佳实践可以参考;第二,AWS业务覆盖全球,在区域内可确保高可用性,助力幂集在海外业务拓展时实现快速、安全部署;第三,AWS诸多开箱即用的服务可大大减少运维工作量,帮助幂集快速部署业务系统并投入生产。
2018年,幂集在AWS的助力下成功部署了大数据系统。次年,又在3个月内又成功部署了广告系统。如今,幂集的核心业务程序化广告交易系统以及其技术平台——大数据分析平台均运行在AWS上。幂集所使用的AWS云服务包括Amazon Simple Storage Service (Amazon S3),Amazon EMRAmazon AthenaAmazon KinesisAWS GlueAmazon Relational Database Service (RDS) 等。图1是幂集基于AWS的系统架构示意图。

图 1 幂集基于AWS系统架构示意图
  • 3个月内快速构建大数据分析平台
  • 借助Amazon EMR与Amazon S3,幂集在3个月内成功地完成了大数据分析平台的部署和上线。Amazon EMR帮助幂集解决了横向扩展等问题,工程师只需要在配置创建集群时点击鼠标,即可在很短的时间内创建一个配置较高且满足业务需求的集群。而作为创新性的数据湖存储方式,Amazon S3在应对海外数据存储及传输方面也起到了至关重要的作用。幂集当前日均数据存储量为30-50G,对跨多区域存储以及数据传输应用十分方便。
    此外,AWS还为幂集提供了无服务器架构解决方案。相比传统的借助MySQL进行源数据管理,幂集现在可以通过AWS Glue管理spark和hub源数据,也可以实现ETL作业,这些数据均可在AWS Glue中得到清洗。当业务部门或运营部门需要查询数据时,可以通过Amazon Athena完成计息查询,为相关人员提供运营数据或分析结果。对于消息中间件,AWS同样提供Amazon Kinesis作为缓冲,这样既可以在消息队列中提升实时计算能力,也能够在突发情况下保障数据安全。

  • 灵活扩容、实时监控,应对数倍流量激增
  • 今年2月,幂集经历了大规模数据激增的场景,当日访问的设备量从几十万台短时间内增长到500万台。随后,幂集引入了AWS提供的Amazon CloudWatch监控服务。通过Amazon CloudWatch,幂集能够实时查看服务器负载以及运营状况,同时配合Amazon EMR 自动扩展集群,一旦监控发现服务器性能不足或服务容量较小,会反馈到监测面板并根据判断出的业务数据量进行自动扩展,实现弹性扩容。应用Amazon CloudWatch以及Amazon EMR自动扩展集群后,幂集再也没有因为数据量激增而导致服务或业务停滞。

  • 自动化安全部署,解放运维
  • AWS云服务的成功应用,帮助幂集解决了在运维方面的难题,使得团队能够将更多的精力专注于业务方面:
    首先,AWS为幂集提供了灵活且安全可靠的托管服务Amazon RDS,并通过AWS云服务组件上安全组的设置,实现了对每一个服务和数据的安全控制,包括集群的访问方式。此外,AWS还为幂集提供了在云端构建网络环境所需的差异化安全策略。幂集资深架构师张青表示:“从安全性上讲,Amazon RDS不仅为我们提供了系统安全性,还有业务安全性。有时开发人员可能会因为种种原因误删数据,在应用Amazon RDS后,这种失误完全不用担心,删掉的数据都可以找回来,这对于数据安全性来说是一个极大的保证。”
    其次,充分应用离线集群。离线集群只需按照数据需要执行,当集群成功处理完当日所需数据后则会关闭。此后,运维人员每日只需定时启动集群,即可在1-2小时内完成原本需要执行24小时的ETL作业。当遇到数据的晋级需求时,运维人员也能够在4-5分钟内启动一个高可用的大数据集群,非常灵活方便。

获得的成效

  • 触达百万终端,承接上亿流量
  • 如今,幂集的大数据分析系统与广告系统都运行在AWS上,为全球范围内的20多个国家与地区的客户以及内部开发人员提供服务。2021年,幂集将继续深耕拉美地区,继而向更多的国家与地区进发。目前,幂集日均触达终端超过500万台,日均广告请求约5000万次,随着公司全球化业务的进一步开展,全球主要国家的流量将迅速突破一亿大关。

  • 数据驱动,满足广告分析平台的严苛要求
  • 幂集的产品定位是由数据驱动的CTV(Connected TV)广告和运营平台,因此对幂集来说,大数据分析系统不仅是技术支撑,更是业务支柱。幂集早在构建广告产品和系统之初,就把大数据团队、技术开发以及业务服务三部分看做整体考虑,相应的系统也一起构建,因此,大数据分析系统对业务发展有非比寻常的意义。
    幂集产品管理副总裁 Ryan指出:“幂集从广告投放到终端展现都会进行数据统计,因为要反馈给上下游的广告主和流量主,这种误差我们一般要求控制在2%-3%以内。大数据分析系统的引入,会每隔几分钟校验两边的数据统计差距,然后对统计结果进行分析。对于广告行业来说,大数据统计和校准虽然是一项基础服务,但对业务来说却至关重要。”

  • 体验为先,贴近用户服务
  • 此外,Ryan 还强调了AWS云的全球化部署对于幂集业务发展的深刻意义:“采用了AWS之后,可以说客户走到哪里,我们就能把集群部署在哪里。技术跟着客户走,客户体验得到迅猛提升,我们的收益也得到了进一步增长。”

未来,幂集还将考虑引入更多AWS云服务,例如通过容器化技术对其它平台进行开发部署、利用Amazon EMR对用户进行画像,或借助Amazon Elasticsearch Service (Amazon ES)开发推荐系统。通过与AWS进一步深化合作,更好地赋能自身业务发展,并以独立第三方的姿态,联合品牌商、制造商、内容商以及开放生态中的其它产业链合作伙伴,助力提升整个产业链和生态的服务能力。


关于幂集

上海幂集软件有限公司是视若飞集团旗下的全资子公司,成立于2019年。作为一家由数据驱动的CTV(Connected TV)广告和运营公司,幂集是专注基于智能电视终端的内容及应用分发、大屏数字营销等多元OTT商业化的卓越平台。

为什么使用AWS

  • 丰富完备的产品体系
  • 灵活扩展、高吞吐、低延迟
  • 快速构建大数据分析及广告系统的能力
  • 在全球范围高效部署云计算平台,简化运维


使用的AWS服务

Amazon EMR

Amazon EMR 是行业领先的云大数据平台,可使用多种开放源代码工具处理大量数据,例如 Apache Spark、Apache Hive、Apache HBase、Apache Flink、Apache Hudi 和 Presto。

了解更多》

Amazon Athena

Amazon Athena 是一种交互式查询服务,让您能够轻松使用标准 SQL 分析 Amazon S3 中的数据。

了解更多》

Amazon Kinesis

Amazon Kinesis 可让您轻松收集、处理和分析实时流数据,以便您及时获得见解并对新信息快速做出响应。

了解更多》

AWS Glue

AWS Glue 是一项无服务器数据准备服务,可供数据工程师、提取、转换和加载 (ETL) 开发人员、数据分析师、数据科学家轻松提取、清理、丰富、标准化和加载数据。

了解更多》


开始使用

各行各业中所有规模的公司都在使用 AWS 对其日常业务进行转型。联系我们的专家,立即踏上您的 AWS 云之旅。