基于亚马逊云科技生成式 AI 能力，中科创达快速构建全自主大模型，生产效率提升 10 倍

随着大语言模型的快速发展，越来越多的场景应用落地，生成式人工智能成为了推动下一轮企业变革的关键动力。中科创达紧跟技术趋势走在前沿，全面启动了“Smart to Intelligent”战略升级，旨在通过自主研发的大模型，赋能各行各业的客户加速数智化转型。大模型的价值在于应用，然而，公司在大模型应用落地的背后也面临着重重挑战：

集群管理受阻：大语言模型训练涉及到大规模分布式训练，对集群管理要求高，并且相关的示例代码与文档也比较少。

缺乏模型训练的实战经验：大语言模型的开发和应用在该领域还比较新，公司缺乏实战经验丰富的专业人员，这让企业打造属于自己的大语言模型难上加难。

算力不足，部署和验证模型效果的速度急需提升：公司希望在模型训练完成后可以快速验证模型效果，快速部署提供推理能力，但大语言模型的部署与应用需要海量GPU(图形处理器)计算资源和存储才能获得更好的性能，公司正面临着算力资源匮乏、高成本与能耗等问题。

“如今的大模型时代，已经不能靠堆机器来满足算力的需求了，并且我们也不具备高性能机器学习技术的运维专家，基于与亚马逊云科技多年的合作基础和了解，我们毫不犹豫地选择了Amazon SageMaker、Amazon FSx for Lustre等产品与服务作为中科创达大语言模型落地的技术支撑，从底层的大模型研发到上层应用，中科创达与亚马逊云科技的合作都是非常紧密和顺畅的。”中科创达生态合作中心总经理郑韦谈到。

基于亚马逊云科技强大的算力以及 Amazon SageMaker、Amazon FSx for Lustre、Amazon Lambda 等产品与服务，中科创达已发布企业知识库、Rubik Brain—— 创达魔方企业大脑以及为智能汽车领域专门打造的车载语音助手等众多生成式人工智能应用，全面赋能智能汽车、智能硬件等多个行业客户，推动大模型时代的企业数智化转型。

Amazon SageMaker 高效的集群管理，使中科创达更专注于大模型训练

机器学习、计算机视觉等人工智能应用需要强大的集群算力才能有效运行，因此高效的集群管理至关重要。Amazon SageMaker 为中科创达在生成式人工智能应用的开发和部署过程中提供了关键的技术支持。针对大模型训练场景，Amazon SageMaker 提供了 GPU 集群健康检查，这可以确保在训练过程中 GPU 集群的稳定运行，避免因硬件故障或其他问题导致的训练中断。由于内置了故障重试和集群自动更新故障的实例机制，即使发生了故障，Amazon SageMaker 也会自动进行重试，从而保证了训练的持续进行，让开发人员更专注于模型训练本身，而无需分心计算资源的管理。

亚马逊云科技无服务器解决方案帮助中科创达快速部署，验证模型训练效果

中科创达始终专注于构建智能软件、智能汽车、以及行业人工智能的应用，处理计算能力、数据存储会分散大量精力，因此选择完全托管的云服务发挥了重要作用。基于 Amazon SageMaker、 Amazon Lambda 、Amazon API Gateway 打造的无服务器解决方案，中科创达可以十分轻松地构建、训练和部署机器学习模型。一旦模型部署完成之后，开发人员就可以使用 Amazon Lambda 来调用 Amazon SageMaker Endpoint 并传递输入数据，Amazon Lambda 可以根据需要处理输入数据，并将其传递给 Amazon SageMaker Endpoint 进行推理。最后，中科创达使用了 Amazon API Gateway 来创建和管理一个 API（应用程序编程接口），将 Amazon Lambda 函数与 API 关联起来，以便外部应用程序可以通过 Amazon API Gateway 快速调用部署的机器学习大模型。与此同时，中科创达采用了 Amazon FSx for Lustre 对机器学习、分析和高性能计算等工作负载进行了优化，通过直接读取存储在 Amazon FSx for Luster 上的数据来加快训练模型时数据加载的进度来加速 Amazon SageMaker 的训练作业。

此外，中科创达还利用 Amazon CloudWatch 来监控 Amazon SageMaker，收集原始数据并将其处理成可读的、近乎实时的指标，例如作业启动和运行状态，这对于大模型训练和任务管理至关重要。中科创达通过分析指标、日志和用户请求，加速了模型调试并整体缩短了解决问题的时间。

中科创达在亚马逊云科技技术团队的全程陪伴下，积累了丰富的模型训练经验

除了提供先进的云产品，亚马逊云科技技术团队还为中科创达的迁移项目保驾护航，提供了全流程的陪伴，降低了新技术的学习门槛，不仅帮助客户快速完成了项目的迁移并开启大模型的训练，还与中科创达的开发人员共同探讨应用场景与解决方案，为他们提供了定制化的技术架构建议，分布式训练示例脚本和实时模型训练效果评估等服务 ，助力中科创达打破层层技术壁垒，积累了丰富的模型训练实战经验。

开发团队生产效率提升了 10 倍，快速构建出自主大模型

基于亚马逊云科技高性能、灵活的全套人工智能基础设施，中科创达的开发人员不必从头造轮子，生产效率直接提升了 10 倍，成功地训练出了中科创达的第一个全自主的大模型，并且达到了预期的效果。

IT 基础设施建设成本节省 50%

依托 Amazon SageMaker 、Amazon Lambda、Amazon API Gateway 等完全托管的云服务，中科创达可以轻松地按需扩展或缩减 IT 基础设施，而无需投资于昂贵的本地硬件和维护，与在本地数据中心自建相比，中科创达有效节省了 50% 的 IT 基础设施建设成本。

未来，中科创达还将继续加强与亚马逊云科技的合作，在智能汽车、智能楼宇、智慧工业等多个行业应用场景中，共同投入资源，利用生成式人工智能技术、云服务能力和创新机制与方法，促进生成式人工智能及大模型在行业的应用与普及，助力产业数智化升级。

中科创达是一家智能操作系统、人工智能技术与产品的提供商，主要包含三大类业务：智能软件业务、智能汽车业务和智能物联网业务，依托全栈式操作系统技术、广泛而深度的资源整合，操作系统产品和技术已经全面赋能智能手机、智能汽车、智能硬件等多个智能应用和场景。