AI21 Labs 利用 Amazon SageMaker 加快生成式人工智能模型的采用

AI21 成立于 2017 年，通过 AI21 Studio 为企业提供专有的语言模型，3 万多名开发人员都在使用此模型构建他们自己的生成式人工智能应用程序。该公司还提供人工智能驱动型写作和阅读助手 Wordtune，该助手可帮助全球数千万名用户使用书面语言。

2021 年 8 月，AI21 发布了两种规模的 Jurassic-1 语言模型：Large 模型速度快、经济高效，使用了 75 亿个参数；而 Jumbo 模型以更高的成本提供了更高质量的文本输出，并使用了 1780 亿个参数。尽管更大的模型提供了最高的质量，但它们的规模运行可能成本高昂，而且操作起来不太灵活。为了帮助客户在规模运行时优化成本与质量之间的权衡，AI21 在 2022 年 12 月使用 Amazon SageMaker 预训练并发布了使用 170 亿个参数的第三种模型，即 Grande。

启动之后，AI21 在 2 个月内迅速完成了该项目，模型预训练只用了不到 20 天的时间。由于大型语言模型是使用数十亿个参数的庞大神经网络，因此训练是一个既有挑战性又非常耗时的工程，需要消耗大量的计算资源。使用 Amazon SageMaker，AI21 的模型训练过程变得更简单、更高效，该公司可以根据需要在任意数量的 GPU 上扩展分布式训练任务。“AWS 的解决方案架构师们响应速度快、互动能力强，因此我们能够排除万难并按时完成该项目，”AI21 平台副总裁 Dan Padnos 说道。

该公司曾经使用过 AWS，他们之所以选择 Amazon SageMaker，是因为它经济高效、简单易用且完全托管。AI21 还可以继续使用现有的训练软件堆栈并能够快速启动和运行，这对于公司初期建立业务阶段非常重要。为了在不到 20 天的时间内对 Grande 模型进行预训练，AI21 需要使用分布在 32 个实例上的 256 个 A100 GPU。大规模训练需要使用一个工具，以便能够协调节点分配、在一个中心位置提供日志记录功能以及减少手动监督工作。“当执行一个规模如此之大的分布式训练任务时，看似微不足道或稀松平常的各种技术挑战都可能演变成令人头痛的难题，”Padnos 表示。“Amazon SageMaker 提供的功能可以用来管理复杂性，并减少团队需要在细节上投入的工作量。” 例如，Amazon SageMaker 具有运行状况检查和中央日志记录等功能，可以帮助该公司提高效率。

AI21 利用 Amazon SageMaker 迅速发布了新的模型。该公司估计，这样能够比以前的训练方法节省好几周的时间。“Amazon SageMaker 能够处理节点故障、正常重新启动以及协调大规模分布式运行，这样，负责模型预训练工作的团队就可以专注于核心任务，”Padnos 说道。“他们可以评估模型的表现和训练的进展情况，而不是解决技术难题。”

将时间表提速非常重要，因为 Grande 模型的功能可以更好地满足 AI21 大多数客户的需求。拥有消费者应用场景（例如自动起草电子邮件）的客户非常重视从 Jumbo 模型迁移到 Grande 模型，因为他们如此之大的规模需要实现成本效益。在推出仅仅几个月后，Grande 模型就为该公司贡献了大约三分之二的流量。“我们已经看到这个模型迅速被采用，对于这个结果，我们感到非常高兴，”Padnos 表示。“Amazon SageMaker 为我们带来了非常积极的体验。我们取得了预期的结果 – 按时、未超预算而且没有遇到意外的挑战。”

生成式人工智能应用程序的一个关键考虑因素是低推理延迟，因为用户希望获得流畅的体验。当用户使用 Wordtune 之类的工具起草内容时，他们希望在不减慢思维过程的情况下将人工智能用作快速参考。借助 Amazon SageMaker，AI21 利用 Grande 模型实现了低推理延迟，进而充分满足了客户的需求，并将其中一个大型客户的延迟减小到四分之一。因此，AI21 的客户每天都能近乎实时地为数百万用户提供服务，而不会影响用户的体验。“我们的一个大型客户已经见证了用户满意度指标的显著提升，这要归功于从 Jumbo 模型迁移到 Grande 模型之后大幅降低的延迟，”Padnos 说道。

Grande 模型的发布还为 AI21 及其客户的增长做出了贡献。“在发布经过 Amazon SageMaker 训练的 Grande 模型之后，我们的整体流量迎来了增长，”Padnos 表示。“迁移到 Grande 模型之后，单一客户的流量也实现了增长。”

Grande 模型（现在称为 Mid）已经在 Amazon SageMaker JumpStart 上推出，后者是一个机器学习中心，包含内置算法、基础模型和预构建的机器学习解决方案，Amazon SageMaker 用户只需单击几下即可轻松部署。为了维护隐私安全，数据生命周期完全处于用户的环境之内，组织可以将语言模型应用于其数据，而无需编写代码或使用代码平台。基于 Amazon SageMaker JumpStart，AI21 还推出了下一代基础模型系列 Jurassic-2 以及特定于任务的模型。

在未来的几个月甚至几年里，AI21 非常渴望在全球范围内提高生成式人工智能的采用率。使用 AWS 服务，该公司正在积极努力开发更快速、更准确、更可靠、更加经济高效的大型语言模型。“我们与 AWS 团队建立了非常良好的关系，”Padnos 表示。“他们的团队成员和我们一起深入讨论了技术细节，并合作完成了一些极具挑战性的任务。在整个过程中，AWS 团队发挥了创造力，并且了解我们的挑战和目标。”

要了解更多信息，请访问 https://aws.amazon.com/sagemaker。