Articul8 AI 利用 Amazon SageMaker HyperPod 将生产率提高了 35%，并帮助客户将人工智能部署速度加快 4 倍

Articul8 AI 于 2024 年 1 月推出了一种全栈纵向优化的生成式人工智能解决方案，专为满足客户的四个核心需求而打造：可扩展性、部署速度、安全性和可持续的成本。该公司提供的生成式人工智能技术包括多模态理解、动态推理和决策、自主行动、可解释性、可审计性以及领域特定/企业特定模型开发等功能。

Articul8 AI 采用独特的自足软件模式，有利于客户快速构建、部署和管理企业级生成式人工智能应用程序，同时将数据保存在自己的虚拟私有云中。

为了构建生成式人工智能平台，Articul8 AI 团队需要快速高效地部署大规模的基础设施资源，以管理用于内部研发和生产部署的工作负载。Articul8 AI 面临的另一个挑战，是要在没有专门基础设施团队的情况下管理 GPU 集群。该公司需要的解决方案，不仅要能够提高计算集群的韧性，具有高可用性和自动化管理功能，同时还要实现技术堆栈的标准化，以便能够在其客户的基础架构中无缝部署。Articul8 AI 之所以选择在 AWS 上构建其解决方案，原因包括 AWS 良好的可靠性、可扩展性以及 AWS 服务团队提供的主动支持。

Articul8 AI 计算和时间强度要求极高的作业之一是预训练和微调各种大语言模型，包括构成 Articul8 AI 生成式人工智能平台支柱的领域特定/企业特定模型。按照 Articul8 AI 的规模，任何形式的性能下降都是不可接受的，因为这可能会对训练模型的成本和时间产生负面影响。因此，该公司需要一种可以缩短模型训练时间的高性能解决方案。该公司尝试了多种解决方案并最终决定采用 Amazon SageMaker HyperPod。该解决方案使用专为大规模分布式训练而构建的基础设施，正常情况下可将基础模型的训练时间缩短多达 40%。

从概念验证到部署，Articul8 AI 与 AWS 携手合作解决相关问题，让该公司能够快速部署其训练工作负载。Articul8 AI 应用研究主管 Felipe Viana 表示：“刚开始的时候，我们想看看这个解决方案将如何发展并适应我们的需求，结果我们对 AWS 提供的支持无比满意。及时获得所需的支持，使我们增强了对 Amazon SageMaker HyperPod 服务的信心，并加快了我们的人工智能研究工作。”

Articul8 AI 用超过 18 个月时间在隐身模式下构建了垂直集成的自主生成式人工智能平台，并于 2024 年 1 月公开发布，主要有两种产品选项，并提供全面的企业支持。第一个选项是针对知识发现等特定应用场景预先配置的产品 Express Bundle，此类场景不需要为客户提供训练或微调功能。第二个选项是可定制的 Premium Bundle，支持对领域特定/企业特定模型进行持续的预训练或微调，并提供生产级企业部署所需的各种其他功能和人工智能包。这两个选项的解决方案堆栈都建立在 AWS 云端，并使用 Amazon SageMaker HyperPod 进行模型训练和微调。

通过使用 Amazon SageMaker HyperPod，Articul8 AI 不仅能够提高性能，同时还可快速将其解决方案推向市场。由于使用了 Amazon SageMaker HyperPod，该公司无需手动管理其高性能计算集群，集群使用率达到了近 100％。此外，该公司的生产率也提高了多达 35％。Amazon SageMaker HyperPod 还会监控集群运行状况并自动替换故障节点。从而缩短了 Articul8 AI 的训练时间，使研究人员能够顺场地进行部署，提高了整体生产力率。Articul8 AI 创始人兼首席执行官 Arun Subramaniyan 说：“由于不需要自行管理集群，由此节省的时间十分宝贵。我们正在提前投资 Amazon SageMaker HyperPod 等技术，以帮助我们的团队高效运作并快速扩大运营规模。”

Articul8 AI 还将 Amazon SageMaker HyperPod 与其他 AWS 服务集成，包括 Amazon Managed Grafana，后者为运营指标、日志和跟踪提供可扩展且安全的数据可视化功能。该公司还使用 Amazon SageMaker HyperPod 生命周期脚本来自定义其集群环境并安装所需的库和软件包，包括开源导出工具。借助这些额外的功能，Articul8 AI 在单个控制面板中实现了对其 GPU 资源的准实时可观测性。

这种预构建的即用型解决方案有助于 Articul8 AI 的客户加快其生成式人工智能之旅，为其提供了丰富的人工智能模型和多种其他功能，并且都在客户的安全环境中部署并自主运行。与其他生成式人工智能解决方案相比，Articul8 AI 解决方案的部署速度提升了多达四倍，对于某些应用场景，部署时间可从数月缩短至几周。Articul8 AI 在 AWS 上进行了各种优化并采用差异化的商业模式，还有助于客户降低总拥有成本，在生产环境中大规模部署生成式人工智能应用程序时可降低高达五分之四。