DataVisor是一家初创的技术型公司,致力于利用最前沿的大数据分析技术为各类互联网公司提供针对可疑用户和各种互联网欺诈行为的早期安全检测服务,其主要客户群体包括各类社交网站、游戏网站、互联网购物及金融平台。DataVisor采用大数据分析技术和其专有的独特算法,无需客户提供样本或标签,即可对大规模的攻击活动和有组织的欺诈行为进行早期预警,从而在恶意活动发生之前进行预防和封杀。目前,DataVisor已经拥有多家客户,其中包括陌陌科技和美国Yelp点评网。

DataVisor成功案例

thumb-datavisor

在互联网时代,绝大多数用户量巨大的互联网公司都时刻面临着各式各样的网络欺诈,包括大规模用户注册、垃圾邮件、涉黄账户、 帐户盗取、数据泄露、虚假或欺诈性购买、金融欺诈及游戏作弊等。同时,传统性行业也在数字化和互联网化,相应的也逐步开始面临各种用户安全问题和欺诈攻击。 DataVisor的目标是针对各种欺诈攻击行为进行全面的早期检测预警,以便在恶意活动发生之前进行预防和封杀。 在网络安全领域,过去的确有一些公司能够针对单一的攻击行为,比如垃圾邮件或者虚假购买等行为进行检测,但还没有一家公司像DataVisor这样提供针对多种网络欺诈行为的全方位预警和检测。即使攻击者改变欺诈式,DataVisor 也能自动用大数据分析的方法自动发现和更新,这对数据平台和数据处理算法都是其所未有的挑战。

首先是如何快速搭建起大数据处理平台,确保系统具有足够的存储量、海量数据处理能力、快速响应能力以及数据的安全性。“我们采用了最前沿的大数据处理技术,每天的数据处理量达到数十亿,甚至数百亿,并且会随着客户数量的增加而急剧增长。”DataVisor公司CEO谢映莲说。其次是成本问题,DataVisor是一家初创公司,最佳的方式是根据业务拓展步伐,随时升级整个系统的规模和处理能力。因此,从2013年底成立之初,DataVisor就决定以AWS云服务为基础,构建完善的网络攻击检测系统。

“我们选择云服务商的首要条件是看云服务的功能是否能满足我们的需求。大数据处理需要处理能力非常强大的机器,同时还需要极快的存储交互速度,这是我们选择AWS的首要原因。”谢映莲说。DataVisor的开发团队在美国,因此首先对当地的主流云服务进行了试用和评估。最终,AWS云服务以功能丰富、极高的安全性和稳定性以及合理的计费模式赢得了DataVisor的青睐。

丰富的功能

AWS的云服务涵盖了计算与联网、存储与CDN、数据库、应用程序管理、部署管理以及客户支持服务等方方面面。用户可以根据自己的需求,灵活配置每项服务。DataVisor的检测系统使用了开源大数据运算平台Spark和数据库HBase。前者是内存型分布式计算平台,需要给服务器配置很高的内存,Amazon EC2允许用户配置高达244GB的内存,而Amazon EMR对HBase的支持则让DataVisor大幅度缩短了系统的开发部署周期。“网络欺诈的形式、方法一直在不断的变化,相应地,我们的算法也在不断改变。AWS云服务的多种功能使我们可以大幅度节省开发时间。”谢映莲说。

安全性和稳定性

DataVisor的主要客户都是大型互联网公司,每天处理的数据量很大,这就要求系统具有很高的安全性和可靠性。AWS云服务采用了全方位的措施来保证系统的安全性和可靠性。例如,AWS Identity and Access Management (IAM)允许使用者创建和管理AWS服务用户和群组;Amazon CloudWatch可以对AWS云资源及运行在其上的应用程序进行检测,开发人员和系统管理员可以通过Amazon CloudWatch收集和跟踪指标、连接相关信息并即刻作出响应,确保应用程序能始终顺利运行。而Amazon VPC则允许用户创建自己的虚拟网络,对不同应用程序所用的资源进行隔离,确保整个系统的安全可靠。这种全方位的安全架构和管理手段,为DataVisor提供了安全、稳定的云平台。

合理的计费模式

与其他云服务商相比,AWS云服务的计费模式更加多样化,包括“按需实例”、“预留实例”和“竞价实例”模式。初创公司在起步阶段可以选择“按需实例”模式,用多少付多少,无需先期投入大笔资金。当业务发展起来进入平稳阶段,能够预估系统大致的资源需求后,就可以选择单价更低的“预留实例”模式,既能保证获得所需的处理能力,又能大幅度降低成本。“在某些时候我们甚至会采用‘竞价实例’模式,以更加便宜的价格获得所需的处理能力。”谢映莲说。

datavisor-arch-diag

图1:基于AWS云服务的DataVisor架构图

目前,DataVisor已经依托AWS云服务建立了完善的网络欺诈检测系统。该检测系统采用最先进的无标签大数据反欺诈算法,通过分析用户帐户的行为进行网络欺诈安全检测, 对大规模的攻击提前预警。客户可以根据检测报告,按照既定策略应对不同欺诈行为。系统所使用的AWS云服务包括高配置的Amazon EC2、用于海量数据存储的Amazon S3Amazon Glacier以及用户安全管理及监控的Amazon VPC 、IAM和Amazon CloudWatch(图1)。

使用AWS云服务给DataVisor带来的好处主要体现在两个方面:快速起步和成本节省。

“使用AWS云服务给我们带来的最大好处是缩短了产品的开发周期,不需要自己购买机器、搭建集群,这使我们得以快速起步,专注于技术和产品研发。”谢映莲说。AWS云服务的丰富功能,特别是先进的大数据处理技术使得DataVisor能够在极短的时间内完成其特有的无标签大数据反欺诈算法的研发。“受益于成功高效地运用AWS,我们得以将资源集中在为客户提供更好的安全服务上,公司的成长大大加快。”谢映莲说。

其次,AWS云服务使DataVisor大幅度节省了固定资本投资(CAPEX),同时降低了运营成本(OPEX)。从公司成立之初,DataVisor的网络欺诈检测系统就完全依托在AWS之上,对IT资源的需求完全是根据客户数量的变化动态扩展的,无需任何先期投入。而在系统的整个运行过程中,DataVisor无需设置专门的运维人员,仅需借助AWS云服务的多种管理工具,即可轻松管理整个系统。

此外,AWS云服务广阔的地域覆盖也使DataVisor在为不同地域的客户服务时能采用当地的AWS云服务,从而减少网络延迟,给客户提供更优质的服务。目前DataVisor已经采用了AWS在北美、新加坡、日本等区域的服务。

互联网应用的快速发展导致各种网络欺诈活动频发,越来越多的网站,甚至传统性行业公司都面临用户安全和有效预防多种欺诈攻击的新挑战,需要以更方便的途径获得反欺诈服务。“我们计划依托AWS 云平台不断完善我们的产品,并且通过使用AWS云平台让更多的互联网公司能方便地使用我们的反欺诈服务。”谢映莲说。

了解 AWS 如何帮助满足您 Web 应用程序需求的更多信息,请访问我们的 Web、移动和社交应用程序详细信息页面:http://aws.amazon.com/web-mobile-social/