货拉拉携手亚马逊云科技快速落地 15 项业务生成式 AI 应用，敏捷创新打造智慧物流

通过庞大的货车司机网络和货源网络，快速高效地完成货物运输是货拉拉拥有高度竞争优势的重要因素之一。随着业务的蓬勃壮大，货拉拉期望不断引入最新的人工智能、大数据等新技术来提升运营智能化水平，实现货车调度智能化，提高运力利用率。

生成式 AI 技术问世以来，货拉拉迅速成立专门项目组，评估生成 AI 的能力范围及对其业务影响后，坚定地认为，生成式 AI 必将重构公司大部分面向海外的业务场景如营销类和提质增效类场景，并开始积极拥抱生成式 AI。除了产品、算法团队持续研究和推动生成式 AI 技术的应用外，越来越多面向海外客户的业务部门开始主动关注，如何应用大模型来解决和优化业务中的问题。如何应用大语言模型服务好业务，货拉拉主要关注 3 大方面：采用生成式 AI 技术所带来的成本、生成式 AI 对业务带来的收益、以及应用生成式 AI 的同时如何保障数据安全和合规。

• 成本：货拉拉海外业务广、场景多，Token 数巨大，以质检业务为例，每天有数万通电话，且质检包含多个维度，因此每月需要的 Token 数非常庞大，采用业界大模型无论是自己部署还是调用 API，成本都较高；
• 收益：如何保障生成式 AI 不同模型的效果，尤其是面对生成式 AI 可能出现的模型幻觉，在实际业务场景中如何规避？
• 数据安全和合规：货拉拉的海外业务中，涉及到海量的司机、用户数据，数据安全和合规保障是其应用生成式 AI 中最大的挑战之一。

货拉拉与亚马逊云科技有坚实的合作基础，之前已经依托于亚马逊云科技广泛而深入、灵活可靠、安全合规的基础设施，快速实现了在东南亚和拉丁美洲的业务突破，打造了高性能、高可靠性和高扩展性的智慧货运平台。因此，货拉拉选择将亚马逊云科技作为生成式 AI 在海外上述业务场景应用的合作伙伴，探索更多 AI 创新应用。

货拉拉海外业务部门对生成式 AI 技术的应用需求非常旺盛，目前诸多业务已经进行了探索和实践，包括 HR、PMO、邀约客服培训、质检培训、安全风控、财务、金融客服问答等 14 类场景的数十个应用，都针对海外业务基于亚马逊云科技已经部署或开始测试生成式 AI 应用。

在面向海外业务的各类场景的生成式 AI 应用部署中，货拉拉还需解决模型评估和筛选、数据准备和模型微调等问题，亚马逊云科技提供了一站式端到端的生成式 AI 服务，帮助货拉拉加速在其海外业务中的生成 AI 应用落地。

• 模型评估和筛选：业界 LLM（Large Language Model，大语言模型）众多，由于参数量、训练数据及模型架构不同，LLM 能力存在一些显著差异，需要根据具体业务需求和场景选择合适的模型。对于 LLM 的全面的基准测试和评估，需要消耗大量的人力和计算资源。
  针对货拉拉的海外业务流程，亚马逊云科技 AI 应用科学家先后对 10 款模型进行测试评估，评估数据包括 1000 条线上真实数据以及 LLM 生成的数据相结合，将准确率、召回率、任务完成率作为模型选择标准。以邀约质检场景邀约话术场景为例，Claude3 Sonnet 在基准测试中准确率为 0.98，精准度为 0.99，召回率为 1，F1-Score 为 0.99，横向评估中获得第一。
• 数据生成和数据质量提升：通过亚马逊云科技调用 LLM，根据基本业务流程和提示词来生成数据、清洗数据并提升数据质量，使用 Amazon Bedrock API 共生成 3000 条数据，并过滤掉轮次过短、说话主体不明确、没有模拟生成 API 接口输出的对话，以确保数据质量满足业务需求。
• 模型微调：亚马逊云科技基于货拉拉的业务需求对多款开源模型进行了微调，由于当前训练数据相对较少，因此最终采用了 Lora 的方法进行训练。此外，还尝试构造更多样化的数据及人工清洗的方式，在保证数据的质量和多样性的基础上，进行全参微调，进一步提高模型泛化能力。
  
  

货拉拉的海外业务处理中，接收到的信息从原来的文字版信息，越来越多地转变为各类图文信息，接收到的图文问答、保险单比价，都需要从图片里面去解析和提取信息。货拉拉通过亚马逊云科技 Amazon Bedrock 调用 Claude 3 模型，利用其优秀的多模态识别能力进行图文问答、图文推荐、比价等，海外业务实际应用效果非常好。

比如车险比价场景中，可能接收到海外用户对于车险选择的咨询，然后收到一个截图。以前，只能借助文字去跟用户沟通，一步一步地询问各种信息、可能中间还涉及大量的解释和沟通，才能获取到足够的信息来定位问题。借助 LLM 的多模态识别，迅速根据图片解析各类数据和信息，业务人员能更及时、更清晰地了解用户的诉求、用车等相关信息，可以更快地为海外用户推荐适配需求的车险，大大加快问题处理速度，提升用户体验。

亚⻢逊云科技 AI 应用科学家与货拉拉智能运营技术团队深度合作，项目共创。根据货拉拉提供的加密测试数据数据，构建或改进机器学习的算法，验证技术可行性，提供模型优化思路和改善建议，帮助货拉拉智能运营技术团队学习模型构建的方法。亚马逊云科技协助货拉拉评测了市面上多款 LLM 和生成式 AI 工具，并针对海外不同的应用场景完成多次 POC 测试，为货拉拉智能运营技术团队自研 LLM 应用平台提供新思路和建议。在货拉拉海外业务的邀约质检场景中，优化后的 LLM 在准确性、精确度和召回率等指标上提高了 5%，提示词长度缩短了 30% 以上。货拉拉已将亚马逊云科技的生成式 AI 服务整合到自研 LLM 应用平台中，该平台使得公司海外业务可快速接入 Claude 3。