作为新零售行业竞争焦点领域的创业公司,超盟在发展初期更关注的是时间,如何更快速地把产品和服务推向市场是最关键的一点。产品架构稳定之后,成本和效率也开始纳入考量。AWS是超盟业务发展和创新的必然之选,因为AWS提供的服务标准更高,系统无论从稳定性、安全性、性能、效率还是成本等各个维度看,都为我们带来了令人信服的价值和体验。
李健豪 超盟数据CTO

北京超萌国际文化有限公司(以下简称“超盟数据”)专注于全景式数据驱动零售企业决策,为连锁便利店、连锁商超、社区超市等零售企业提供数据服务,提供API数据接口、BI辅助决策平台、AI选品平台等解决方案。目前已服务超市发、天天便利、利客便利、每一天便利、惟佳便利、六意便利等国内连锁零售企业。超盟数据的BI辅助决策产品覆盖中国18%的连锁便利店,现已合作逾1万家门店(其中包括5000家夫妻店),每天处理千万级人次的交易数据。

从数据收集、数据分析、数据挖掘到最终决策,通过完整构建零售企业大数据时代下的决策闭环,超盟数据的商业模式是为连锁便利企业提供一站式的数据管理和分析平台SaaS服务,帮助企业建立数据驱动的体系,制定更具个性化的营销应用策略。

便利店是超盟数据主要服务的客户群体之一。该场景下,每日店长需要从数千个SKU(最小存货单位)的商品库中选出缺货的商品并下订单进行补货。传统的人工方式订货速度慢且准确率低,经常会出现畅销品断货,滞销品摆满货架的现象。“通过对便利店覆盖范围消费人群的用户画像进行几十个维度(包括年龄层、性别、经济状况、周围房价等)的统计和分析,超盟数据提供的辅助决策服务恰恰可以解决这个问题,帮助店长保证门店单品畅销品不断货,滞销品尽快下架。”李健豪表示,“该过程中,如何快速、稳定、高效地获取数据,实时处理、分析数据,并在第一时间准确、合理地呈现相关结论,是决定超盟生产力和客户市场话语权的关键所在。”

伴随自身业务快速增长,加上产品服务快速创新、更新迭代的需求,超盟数据IT基础架构的瓶颈开始日益凸显。李健豪坦言:“对于创业公司而言,产品和业务就是‘生死线’。一切都要围绕如何更好地打磨产品,为客户市场提供有价值的服务,以促进业务快速增长而展开。超盟提供的数据服务生于云,长于云,这意味着我们的系统必须具备极强的稳定性和高可用性,同时兼顾可扩展性和灵活性,包括安全性、开发测试环境的友好度等同样至关重要。系统面临挑战的核心在于,在保障业务高效、稳定、安全、低成本运行的同时,降低运维压力,让IT后台更简单、无缝、无感知,让团队能更专注于业务发展和创新本身。”

在扫票新项目上线,直连客户数据库之前,超盟数据采用的是其他云厂商提供的服务。新项目直接采用Amazon Web Services (AWS)云服务,并已完整承载超盟核心业务。“之前云厂商部分服务不够稳定,例如对象存储,曾出现过丢数据的问题。”李健豪表示,“超盟服务的客户场景中,部分单品从上市销售到最终淘汰的生命周期可能非常长,这就对数据安全性和系统稳定性提出了更高的要求。和其他解决方案相比,AWS的服务更加稳定,同时,提供的托管服务种类丰富多样,功能强大。从长远看,AWS更能适应超盟业务发展预期和需要,未来可能会对我们大有帮助。”

超盟数据的解决方案是零售行业数据分析和挖掘,目前,每天需要处理的数据高达上百亿条,而超盟数据之前的业务团队并没有Hadoop大数据分析平台搭建和应用经验。李健豪加入超盟数据以后,通过AWS云服务,超盟数据基本一周时间就搭建好了新环境,Amazon EMR从开始调研、部署到上线,仅用了2-3周时间。“从业务角度看,我们最看重稳定性和速度。AWS在云服务领域的前瞻性可以帮助超盟构建一个敏捷的开发团队,更快速、高效地将特色产品和服务投入市场。”李健豪补充道,“技术层面上,平台成熟度、服务的丰富程度以及对开源框架支持的广度,包括安全性等都是超盟看重的关键因素。”

例如,Amazon Simple Storage Service (Amazon S3)可以当做数据湖来使用。在数据量快速增长、容量巨大且需要共享的场景下,其他方案是很难解决这个问题的。“通过Amazon S3,超盟可以解决很多数据流转和处理的问题。同时,Amazon S3具备非常高的耐久性。历史数据都是重要的资产,客户永远不用担心存储的资料会丢失。”李健豪说,“选择AWS,还有超盟非常看重的一点,就是其使用习惯对开发人员来说很友好。通过AWS,我们可以更快速、便捷地实现产品开发和迭代,助力业务成果转化,平均项目时间缩短了2-3个月,这些都是超盟选择AWS的重要考量。”

如图1,是超盟数据基于AWS的大数据分析平台架构图,所采用的AWS云服务包括Amazon Elastic Compute Cloud (Amazon EC2)、Amazon S3、Amazon Relational Database Service (Amazon RDS)Amazon RedshiftAmazon DynamoDBAmazon Elastic Container Service (Amazon ECS)、Amazon EMR、AWS Lambda等。

ichaomeng-arch-diag

图1 超盟数据基于AWS的大数据分析平台架构图

自2016年6月在新项目中开始采用AWS云服务以来,超盟的IT基础架构效率持续提升,一步一个脚印,不断迈上新台阶。无论从运维管理的成本、效率还是业务创新角度看,收获的效果都可谓成绩斐然、硕果累累。

使用AWS云服务后,系统运维成本大大降低,管理压力大幅减轻,并且做到了服务的自动弹性扩展。“运维成本的降低反映到实际中体现在两方面,一方面是时间成本,一方面是人员成本。同时,采用AWS云服务,也让我们告别了传统IT那种前期需要投入大笔资金购买硬件的固定投资成本。”李健豪表示,“通过使用Auto Scaling、Lambda等服务来弹性地处理高并发工作负载,尤其是Lambda的使用更进一步降低了我们在AWS上所产生的费用。另外,安全组(Security Group)等安全服务保障了我们系统在AWS上的安全性。AWS云服务帮助我们处理了很多底层的重型工作负载,让超盟能够更加专注于自身业务创新。”

随着超盟数据服务的连锁便利店越来越多,面临着处理上亿级数据量和毫秒级展现的要求。作为国内较早采用Lambda服务的先行者,超盟高效、成功地应对了单日几十倍数据量(几亿条到上百亿条)急剧的业务增长情况。“以前,数据流转过程割裂,抽取完成后才能启动下一步处理工作。现在,通过Lambda轻松实现边抽取边分析,所有数据抽取工作通过Lambda并行实现,后面的数据清洗和分析过程通过Amazon EMR完成,任务处理时间从6小时缩短至15分钟。目前我们正在对数据处理过程进行重构,未来,抽取作业之后的数据处理也会使用Lambda。”李健豪兴奋地说,“这对我们来说非常重要,直接定义了前端近乎实时的分析报表展现能力。晚上集中处理数据,白天第一时间呈现,为店长、督导、采购、连锁店管理者等不同角色提供可视化分析和辅助决策服务。通过AWS云服务,超盟有能力为客户市场带来独一无二的体验。”

“我们的策略是‘All in on AWS’,采用AWS云服务的过程基本上就是一个成本不断降低、效率不断优化的过程。”李健豪表示,“例如,使用Lambda后,自然而然降低了Amazon EC2的用量,前者按调用次数计费的方式为我们节约了大量成本。同时,一次代码写入,重复调度、触发事件自动执行,代码复杂度的降低对开发团队来说是无形的奖赏,包括时间、人力等在内的相关资源都能投入到更有用的地方。从业务角度看,超盟有能力将产品做到极致,简单易用且功能强大。所有这些,都离不开AWS云服务这个坚强后盾。”

若要了解关于AWS大数据解决方案的更多信息,请访问“大数据”详细信息页面:https://aws.amazon.com/cn/big-data/