NerdWallet 使用 AWS 上的机器学习为推荐平台提供技术支持
2020 年
NerdWallet 是一家个人财务管理初创公司,它可以提供工具和建议,使客户能够更轻松地偿还债务,选择最出色的理财产品与服务,以及达成重大的人生目标,例如,购房和为退休储蓄资金等。该公司在很大程度上依赖数据科学和机器学习 (ML),将客户与个性化理财产品关联在一起。“我们很早就意识到,数据科学对于打造更加个性化的产品和用户体验至关重要,”NerdWallet 高级工程经理 Ryan Kirkman 说。
随着公司的工程团队开始将首批 ML 模型投入生产,Kirkman 和他的团队发现,生产过程比预期的要长得多。他说,“从原型机到生产需要几个月的时间,在这一过程中有很多效率低下之处。”
当时,NerdWallet 的数据科学家主要使用人工方法来管理 ML 库,但从成本或工作流的角度来看,这并不是最佳的方法。“我们的数据科学家必须进行手动安装,并处理上一位数据科学家在机器上留下的任何环境,”NerdWallet 的资深软件工程师 Sharadh Krishnamurthy 说。
该公司需要解决其工程探查问题,以便其数据科学家能够更有效地训练 ML 模型,加快从概念到交付的过程,并更多地关注高价值项目。“我们将模型交付生产的速度越快,我们的数据科学团队在这些模型上迭代的速度就越快,我们就能更好地创造产品体验,”Kirkman 说。“减少反馈循环将大大提高我们执行数据科学项目的能力。”
使用 Amazon SageMaker 可以帮助我们显著提升机器学习平台的工作、特性和功能。通过与 AWS 合作,我们有效地站在了巨人的肩膀上。”
Ryan Kirkman
NerdWallet 高级工程经理
利用 AWS 发展数据科学
作为一家初创公司,NerdWallet 不具备全盘重来所需的资源。“对于初创公司来说,关键问题是‘我们如何最快地提高业务价值?’ 我们想要一个像一些大公司那样的机器学习平台,但我们没有能力在这方面投资太多,”Krishnamurthy 说。
NerdWallet 已经在使用很多 Amazon Web Services (AWS) 解决方案,包括 Amazon Elastic Compute Cloud (Amazon EC2) 和 Amazon Elastic Container Service (Amazon ECS)。团队决定将 Amazon SageMaker 加入其中。有了这个完全托管型服务,公司可以利用底层 Amazon EC2 实例,包括采用 NVIDIA V100 Tensor Core GPU 的 Amazon EC2 P3 实例,以及他们现有的 Amazon ECS 映像构建管道来减少训练 ML 模型所需的时间。“Amazon SageMaker 基本上是将机器学习作为一项服务提供给了我们,”Kirkman 说。
采用 Amazon SageMaker 可使 NerdWallet 快速实现其数据科学工程实践的现代化。“我们基本上在两个月内释放了业务价值,”Kirkman 说。“用其他方式,这是不可能实现的。”
新的解决方案还帮助公司消除了障碍,加快了交付时间。“Amazon SageMaker 使我们的数据科学家可以轻松地成为其自己工作的核心拥有者和驱动者,而不是进行多次传递并且不得不重新实现所有内容,”Kirkman 说。“我们提供了一个指导路径,从平台和工程的角度,使解决这些周围的基础设施问题更加容易,同时也加快了我们的数据科学家的工作。这是一项双赢举措。”
NerdWallet 利用这种新方法的第一个项目是由 TensorFlow 支持的一个推荐平台。以前,NerdWallet 向客户提供潜在信用卡清单,但它无法预测信用卡被接受的可能性。现在,使用 Amazon SageMaker 和机器学习,该公司可以更有效地为客户匹配合适他们的金融产品。
使用 Amazon SageMaker 和搭载 NVIDIA V100 Tensor Core GPU 的 Amazon EC2 P3 实例不仅提升了 NerdWallet 的灵活性和性能,而且还缩短了数据科学家训练 ML 模型所需的时间。“我们过去需要数个月时间启动模型并对其进行迭代;现在,只要几天就够了,”Kirkman 说。
释放额外的价值
Amazon SageMaker 使 NerdWallet 的数据科学家能够把更多时间花在战略追求上。Kirkman 说,“我们现在可以把更多的精力放在我们的竞争优势上——我们对正在为用户解决的问题的洞察力。”
例如,NerdWallet 现在正在构建一个推理存储系统,该系统将允许团队轻松访问和使用数据科学家在公司其他领域生成的预测。“我认为,如果没有我们的数据科学家现在拥有的精简训练工作流程,我们不可能将这个系统做成商业案例,”Kirkman 说。“这样做成本太高,风险太大。精简工作流程和实现标准化为我们解锁了更多的价值。”
Amazon SageMaker 还帮助 NerdWallet 控制成本。由于公司可以按使用次数付费,而不是为无休止运行的基础设施付费,因此只有在需要计算资源时才会产生费用。“我们已经能够降低大约 75% 的训练成本,即使在增加训练模型数量时”,Kirkman 说。“我们可以这样做,是因为我们已经从全天候运行单个大型 Amazon EC2 实例的模式转变为通过 Amazon SageMaker 按需运行所需的任何实例类型。”
在 Amazon SageMaker 上构建 ML 平台还意味着 NerdWallet 的小型 IT 团队可以立即利用行业的进步。“从基础设施和技术的角度来看,使用 Amazon SageMaker 可以帮助我们显著提升机器学习平台的工作、特性和功能,”Kirkman 说。“通过与 AWS 合作,我们有效地站在了巨人的肩膀上。”
机器学习和 Amazon SageMaker 的使用,代表着 NerdWallet 利用技术在竞争激烈的金融服务市场中脱颖而出所采用方式的转变。展望未来,Kirkman 和他的团队计划继续利用技术提供增值服务。“帮助客户做出任何金融决策,并与客户保持一致,这是我们的关键区别,”Kirkman 说。“使用数据科学和机器学习可以帮助我们加倍努力。”
要了解更多信息,请访问 aws.amazon.com/sagemaker。
关于 NerdWallet
NerdWallet 是一家位于旧金山的个人理财公司,提供对包括信用卡、银行、投资、贷款和保险在内的金融产品的审核和比较。它提供客观的建议、专家信息和工具来帮助客户做出明智的理财决策。
AWS 的优势
- 实现数据科学工程实践的快速现代化
- 用几天而不是几个月时间来训练机器学习模型
- 将训练成本降低 75%
- 提高灵活性和性能
- 使数据科学家能够将更多的时间花在战略追求上
使用的 AWS 服务
Amazon SageMaker
Amazon SageMaker 是一项完全托管的服务,可以帮助开发人员和数据科学家快速构建、训练和部署机器学习 (ML) 模型。SageMaker 完全消除了机器学习过程中每个步骤的繁重工作,让开发高质量模型变得更加轻松。
Amazon EC2
Amazon Elastic Compute Cloud(Amazon EC2)是一种 Web 服务,可以在云中提供安全并且可应需调整的计算容量。该服务旨在让开发人员能够更轻松地进行 Web 规模的云计算。
Amazon EC2 P3 实例
Amazon EC2 P3 实例可在云中提供高性能计算,可支持高达 8 个 NVIDIA® V100 Tensor Core GPU,并可为机器学习和 HPC 应用提供高达 100Gbps 的网络吞吐量。
Amazon ECS
Amazon Elastic Container Service (Amazon ECS) 是一种完全托管的容器编排服务。出于其安全性、可靠性和可扩展性,Duolingo、Samsung、GE 和 Cookpad 等客户都使用 ECS 运行他们最敏感的任务关键型应用程序。
开始使用
不同行业和规模的组织都在使用 AWS 进行转型,以实现其愿景。联系我们的专家,立即踏上您的 AWS 云之旅。