大多数竞争性数据仓库解决方案每年将花费我们高达 1000000 USD 的成本。相比之下,Amazon Redshift 总共只需花费我们 100000 USD,这代表着将近节约 90% 的总成本。 
Joel Cumming 数据部主管

2009 年,一群来自加拿大滑铁卢大学的天赋异禀的学生创建了 Kik Interactive。目前,有超过 2.75 亿订阅者在使用该公司的消息收发服务 Kik Messenger,这些订阅者主要来自美国。除了免费提供一系列的文本、图片和视频消息收发服务以外,Kik Messenger 还具有可搜索并访问 Web 内容的集成式浏览器。Kik 还提供开发人员工具,支持组织在自己的平台上为订阅者优化和分发 Web 内容。

要留住现有的订阅者和推动可持续发展,Kik 需要确保其消息收发服务快速、响应及时且对订阅者持续可用。Kik DevOps 团队主管 Chris Fairles 说:“我们的订阅者依赖我们为其实时发送消息,这是我们非常重视的一项责任。要使我们的服务尽可能地好,我们投资了足够可靠、安全和灵活的技术,以满足订阅者不断变化的需求。”

至于其他挑战,Kik 必须倾听订阅者的声音,确保其需求能够通过最新的产品增强功能得到满足。“我们拥有大量有关我们的客户及其如何使用我们服务的数据,但是这些数据通常封存在公司的日志文件或其他系统中。”Fairles 说,“要将这些数据转变为真实的业务洞察力,并确保我们所有的开发决策有确凿的依据,我们大力投资了最新的大数据技能和技术。”

要提供最佳订阅者体验,Kik 结合使用了托管在 Amazon Web Services (AWS) 云上的内部服务器和基础设施。Fairles 说:“我们使用 AWS 为用户提供从配置文件图片和图片消息收发,到视频消息收发与账户管理在内的一系列功能。”

Kik 的 AWS 架构融合了 Amazon Elastic Compute Cloud (Amazon EC2)、Amazon Simple Storage Service (Amazon S3) 和 Amazon Virtual Private Cloud (Amazon VPC),并使用 Amazon CloudFormation 按需预置和部署基于云的基础设施。“借助 AWS CloudFormation,我们采用了我们称之为‘微服务’的架构,将所有的 AWS 基础设施定义为代码。”Fairles 这样说,“在不久的将来,我们还将采用 Amazon CodeDeploy,让我们能够快速和轻松地加速实现 IT 堆栈标准化,且几乎不需要任何人力。”

借助 AWS,Kik 还能为订阅者提供快速、响应及时的服务体验。“我们使用 Amazon Direct Connect 加快内部服务器场和 AWS 云之间的数据交换,这可以最大限度地缩短延迟和减少抖动。”Fairles 说,“我们还使用 Amazon CloudFrontAmazon Route 53 为最靠近订阅者的边缘点交付内容,使我们的应用程序速度飞快且响应及时,无论用户身处何处。”

通过此微服务架构,Kik 还在 AWS 上创建了一款精密的数据分析平台,以便为业务提供全新的增值洞察力和优化订阅者体验。这一切均以 Amazon EC2、Amazon S3、Amazon VPC 为基础,并由 Amazon Redshift 提供核心数据仓库功能。

用于分析活动的源数据最初来自数百 TB 量级的日志文件数据,这些数据之前存储在 Amazon S3 存储桶中。Amazon Elastic Map Reduce (Amazon EMR) 和 Hadoop Pig 脚本用于概括和处理日志文件,然后将其载入 Amazon Redshift,日志文件会在其中进一步压缩。“从开始的 500TB 来看,我们现在只需管理 50TB 的数据,这让我们的工作变得极其简单。”

Kik 的 AWS 基础设施融合了 Auto Scaling,让公司以更加经济实惠的方式交付消息收发服务和其他内容,而且只需为其所用使用的计算和存储资源付费。“我们的 AWS 架构可在高峰流量时段自动扩展,并在流量平稳时再次收缩。”Fairles 说,“这意味着,我们只需为自己使用的计算和存储资源付费,从而使我们的业务比当前产生更多的利润。”

Kik 还可以借助 AWS 为订阅者优化服务可用性。“AWS 架构的每个组件都是完全冗余的,这意味着,即便发生重大技术中断,我们也可以保持服务的在线状态。”Fairles 说,“我们还使用 AWS 中的多个可用区域确保应用程序对订阅者持续可用,即便整个 AWS 数据中心变得不可用。” 

借助 Amazon Redshift,Kik Interactive 能够从客户和运营数据中解锁有价值的见解。Kik 数据主管 Joel 说:“我们可以看到不同类型的用户如何使用我们的服务,并以此确定他们的需求和偏好。然后,我们可以使用该洞察信息发布新的开发项目,解决服务难题,锁定新市场,交付个性化体验,以及最大限度减少客户流失。”

借助 Amazon Redshift,我们能够以较低的成本获得此洞察力,从而消除内部硬件、软件和支持要求。“考虑到购买成本、日常维护和支持,大多数竞争性数据仓库解决方案每年需花费我们高达 1000000 USD。”Cumming 说,“相比之下,Amazon Redshift 总共只需花费我们 100000 USD,这代表着将近节约 90% 的总成本。”

最近,零成本 Redshift 硬件升级使得 Kik 在数据仓库性能上实现了 30% 的提升。“AWS 可持续升级其平台,支持我们按照比以往任何时候都要快的速度为企业提供更多见解。”Cumming 说,“因此,我们可以从更多来源收集更多数据,并获得对客户需求的全新见解,所有这些只需较少的资源即可实现。”

最近,Kik 部署了 AWS Lambda,Cumming 将其描述为该公司数据分析的“新前线”。“我们非常激动”,他表示。“AWS Lambda 可自动预置我们所需的基础设施以运行我们没有的数据科学应用程序。因此,我们无需将时间花费在照看服务器上,而是可以重点关注我们的强项,即,提供业务见解和提升用户体验。”

在 AWS Lambda 的帮助下,Kik 正在部署 Amazon API GatewayAmazon DynamoDB,让内部服务能够跨整个公司即时访问所需的数据。“API Gateway 可使我们非常快速地在自己的产品内构建复杂的统计模型和个性化。”Cumming 说,“我们在 DynamoDB、Lambda 和 API Gateway 上极其快速地构建了内部 Data API 的首次迭代,现在,Kik 中的服务可以按一种在过去绝不可能的方式实现个性化和扩展。”

要了解关于 AWS 如何帮助您降低数据管理成本的更多信息,请访问我们的大数据详细信息页面