汇量科技利用AWS打造一站式大数据机器学习平台，日均高效处理1000亿次线上预测

另一挑战来自于广告平台行业场景的特殊诉求。对于广告行业而言，其业务特点对数据时效性的需求极高：每个广告请求背后的复杂算法预测，其端到端的数据延迟要求必须少于50毫秒（p99 <50ms）。汇量科技集团副总裁朱亚东表示：“出于数据实时性方面的考虑，我们必须快速捕捉用户实时的兴趣变化，这样才能满足流量变现或者用户增长效率最大化的诉求。”这就要求汇量科技必须更有效地发掘变现流量的特点，并将这种精准、有效的数据实时传递给客户，使其流量价值最大化。

此外，其大数据机器学习平台的搭建，还面临着极大的数据稀疏性和数据复杂性的双重考验。汇量科技不同于传统的头部App，作为立足全球的服务提供商，其数据稀疏性较强且数据维度复杂。汇量科技的DNN模型拥有巨大的稀疏嵌入层，包含超过百亿维度的特征。此外，在进入分析环节前，从点击日志到训练样本，都需要对数据进行复杂的预处理。

在数据处理方面，为了支撑日均千亿次的广告在线读取需求，汇量科技为数据科学家提供统一的开发体验，率先选择将机器学习平台中的数据处理与模型训练都集成在 PySpark 脚本中，使用Apache MXNet，Gluon API 进行模型的训练，使用 MXNet C++SDK 进行在线预测。通过 MXNet 特有的 Parameter Server 架构，支持了大规模稀疏嵌入层的模型训练和动态批处理，在实现 PB 级别的巨量参数分析的同时，单次请求数据延迟少于10毫秒（p99 <10ms）。
为了保证数据的全局性和完整性，汇量科技需要对部署在全球的业务数据进行统一处理。AWS 拥有高速网络连接的全球骨干网布局，可在全球范围内部署在线服务，在不同地域间提供无差别带宽的支撑，数据可实时在线传输，对算法工程师的开发效率有极大提升。

在诸多开源分布式学习框架中，汇量科技选择了 Apache MXNet，究其原因是 MXNet 在整体实现、架构等方面均与汇量科技的需求契合。MXNet 具备丰富的功能，同时汇量科技对 MXNet 开源代码进行了部分定制，使其能够更好地支持稀疏数据的计算，包括通讯、基于特征的存储等方面。在二次开发中，针对离线的模型训练，汇量科技选择将 MXNet 集成到 Spark 上，这样就可以通过 Spark 直接读取 Amazon S3 数据湖上的数据，之后再将读取的数据传给 MXNet 框架进行分布式学习的模型训练，整个算法开发流程因此变得容易操作且方便快捷。
汇量科技资深算法架构师陈绪表示：“这对于汇量科技来说非常重要，因为 MXNet 针对大规模广告产品的特征以及数据上的稀疏性，提供了架构方面的强大优势。通过对 Spark 的适配和二次开发，汇量科技形成了自有平台的特殊功能。未来，汇量科技也会向其它客户开放相关的服务。”

汇量科技成功开发的基于 AWS 云原生的一站式机器学习开发平台具有很好的扩展性和自适应能力。从投放广告端，可以灵活扩展更多新的品类，比如工具、社交、电商等品类，进一步扩大业务范围，增强业务泛化能力。“从流量端的玩法来看，已经有很多流量进行闭合。我们基于一站式大数据机器学习的系统，能够很好地自适应学习，帮助我们实现新的变现流量的扩展和无缝接入。”

一站式大数据机器学习平台的上线，为汇量科技的开发人员提供了端到端的自动化开发体验，该平台能完成日均超过两万个的数据分析和模型训练作业。陈绪表示：“一站式大数据机器学习平台上线后，极大地拓宽了汇量科技产品运营的能力，通过进行大规模自适应的在线学习，能够释放出 50% 以上的人力投入到新的更有价值的工作中。” 成本优化方面，通过 Amazon EC2 Spot 实例、Amazon EC2 Auto Scaling 以及 Amazon EC2 M5d 这几种高性能机型和服务，平台可以轻松支持千亿级请求以及 PB 级计算，并且每月节省支出近 20 万美元。