数库创业过程中,产品需要不断的迭代和试错,使用AWS为我们节省了很多的精力,同时AWS的稳定性和良好口碑也让我们获得了更多客户的认可。
夏磊 数库科技公司CTO

数库科技(ChinaScope,以下简称数库)成立于2009年,是一家基于机器学习算法的大数据量化分析公司,利用其独特的挖掘和分析工具,数库可以将非结构化、半结构化的数据结构化,也可以使无序的、没有关联的数据产生关联性,为金融投资提供精准、全面的技术服务。经过多年的不懈努力,目前数库已经开发和完善了一系列独家产品,同时也获得了资本市场认可和支持,于2011年、2015年分别获得了来自穆迪和京东金融的投资,并在最近获得了毕马威(KPMG)2016中国领先的金融科技公司50强。自2010年起,数库科技就一直利用AWS云平台,建立了私有数据中心+AWS的混合云平台,推进自身业务的快速发展。

数库专注于对金融数据进行量化分析。在过去相当长的时间里,国内的金融数据服务都处在简单的数据收集整理和客户终端提供上,而数库希望通过建立数据标准、数据之间的串联关系、非结构化数据获取与智能化分析,实现金融数据的智能,从而解决信息不对称问题,为投资带来效率。为了实现这一目标,数库将一些需要消耗大量时间精力做的数据采集加工和分析工作转移给机器,以提升效率,通过机器学习算法和人工智能技术,让系统本身不断进行“学习”,主动去尝试发现不同数据之间的关联关系,减少金融机构在数据分析上投入的时间,释放人力,创造更高的投资价值。

在公司成立之初,数库主要面向海外客户,因此需要在国外架设高可用性的IT服务设施,但作为一家初创公司,面临的主要挑战是人员少、经费少,如何快速起步是数库面临的首要挑战。“所以我们在2010年启用了AWS新加坡区域(Region),利用Amazon EC2提供基础服务,使用Amazon RDS搭建数据库集群,利用Amazon S3提供非结构化数据存储,同时还利用Amazon EC2搭建了MongoDB、Redis和Apache Ignite集群,仅用了很短的时间就开始为客户提供量化分析服务了。”数库科技公司CTO夏磊说。随着AWS在中国的落户,数库在2015年正式启用了由光环新网运营的AWS北京区域(Region),配合AWS新加坡区域(Region),分别实现对境外、境内客户的服务。

“数库从成立之初就选择了AWS新加坡区域(Region),为海外客户提供优质的服务。当AWS进入中国市场,作为多年的AWS老用户,我们自然选择AWS作为我们开拓国内市场的IT基础架构。”夏磊说。当然数库在选择国内市场的云服务商时也进行了一系列测试和评估,结果表明,与其他云服务商相比,由光环新网运营的AWS北京区域在网络性能、扩展性和技术支持服务等方面能够更好地满足数库对IT基础设施的要求。

数库专注于量化分析,为金融行业客户提供服务,对网络性能和服务器的性能都有很高的要求。例如,数库的分析系统每时每刻都通过技术手段自动抓取200多家财经站点的新闻数据,同时还要提取上市公司财报中的关键信息以及实时的行情数据进行综合分析,这需要云主机具有很高的实时计算能力。Amazon EC2提供了从低配到高配的全系列实例,数库可以根据业务需求选择内存优先或计算优先实例,确保流式数据处理的稳定、可靠。在扩展性方面,AWS提供的Auto Scaling服务可以很好地满足数据对峰值数据处理的需求。“数库系统常常需要在一分钟的时间内分析处理大量的数据,利用Auto Scaling和Elastic Load Balancing,系统就可以自动扩展,这不仅保证了系统性能,同时也节省了成本。”夏磊说。

AWS优异的本地技术支持服务使得数库可以专注于自己的核心业务,无需投入人力去维护IT基础设施。AWS不仅提供了丰富的中文技术文档和各类培训活动,同时还拥有专家级的支持服务团队,为客户提供及时、有效的服务。“AWS的业务拓展经理和解决方案架构师团队在我们立项之前给我们提供了很不错的优化建议和架构方案,使我们能够快速起步,在后续的使用过程中,AWS 的技术支持工程师也持续跟踪,及时帮助我们解决问题,这一点与传统的IDC完全不同,使我们提高了效率。”夏磊说。

数库从成立之初就启用了AWS新加坡节点,为海外客户提供服务,面向国内市场的产品则部署在AWS北京节点,包括数库港基本面分析平台、Factors量化分析平台、数库行业指数、开发者中心和智投APP,这些产品既为机构用户提供高效的投资分析工具,也为普通投资者提供了分析、了解市场的工具。数库使用的AWS云服务包括Amazon EC2、Amazon S3、Elastic Load Balancing、Amazon RDS、Auto Scaling、Amazon CloudWatchAmazon VPC等。图1是数库的系统架构示意图,在整个系统中,40多台Amazon EC2作为基本服务器;Amazon S3用于数据存储,不仅可以无限扩展,还可以节省成本;Amazon VPC用于隔离出不同功能的子网以保证整个系统的安全性;Amazon CloudWatch、Auto Scaling等服务用户系统检测和自动扩展。

chinascope-arch-diag

图1 数库的系统架构示意图

与传统的数据中心(IDC)托管服务器方式相比,使用AWS为数库节省了大量的运维成本,在产品的迭代、部署过程中无需考虑服务器配置、性能、扩展性等问题,技术团队可以专注于快速地迁移、扩展及重构系统。“如果没有AWS,我们的很多产品迭代、系统架构调整可能没有那么快速方便,这让我们可以把精力放在业务研发和工程探索上,几年来我们开发了国内先进的基于上市公司业务和产品细分的行业分类标准,并结合海量资讯、机器学习、自然语言处理和理解能力做了热点概念和事件情感分析的新引擎KAM。我们很高兴能选择AWS作为整体架构的基础设施服务平台。”夏磊说。

在运维方面,由于AWS云平台本身的稳定性、可靠性和可用性都非常高,并且提供了Amazon CloudWatch、Auto Scaling、Elastic Load Balancing等众多的运维自动化服务功能,使得运维效率大幅度提升,减少了运维人员数量,可以将更多的人力投入到核心业务的研发中去。

使用AWS给数库带来的另一个好处是在开发和部署新服务时可以迅速确定系统架构和资源配置,既加快了新服务上线的时间,又节省了人力成本。这得益于AWS优秀的技术支持和培训服务。

了解 AWS 如何帮助满足您 Web 应用程序需求的更多信息,请访问我们的 Web、移动和社交应用程序详细信息页面:http://aws.amazon.com/web-mobile-social/