客户案例/软件和互联网/美国

2024 年
Perplexity 徽标

Perplexity 使用 Amazon SageMaker HyperPod 将基础模型训练速度加快了 40%

了解生成式人工智能初创公司 Perplexity 如何使用 Amazon SageMaker HyperPod 更快、更高效地进行模型训练。

减少高达 40%

的训练时间

为每小时超过 10 万次查询

提供支持

维持

低延迟 

优化

用户体验

概述

作为一种颠覆性力量,生成式人工智能(AI)包含机器学习(ML)算法,通过从大量数据中学习,能够生成从图像到文本等新内容。Perplexity 目前正在构建世界上首批对话式问答引擎之一,该公司正在利用生成式人工智能的力量来帮助用户找到相关知识。

Perplexity 在优化模型的准确性和精度方面遇到了挑战,需要一个能够满足其计算要求的强大解决方案。Perplexity 以提升用户体验为愿景,选择采用 Amazon Web Services(AWS)。通过使用 AWS 的高级 ML 基础设施、训练库和推理工具,Perplexity 获得了大规模服务于全球用户群所需的灵活性、性能和效率。

机会 | 使用 AWS 服务优化用户体验

传统搜索引擎通常会在相关结果上添加广告和特定关键字,而与此不同的是,Perplexity 的解决方案经过优化,可以将用户与他们所需的知识联系起来。约有 1000 万月活跃用户借助 Perplexity 来学习新概念、解决挑战和寻找答案。

“借助大型语言模型,我们可以将人类语言的理解和推理能力整合到一个模型中。该模型与互联网上的事实相结合,帮助我们建立了问答引擎,”Perplexity 首席执行官兼联合创始人 Aravind Srinivas 说道,“从本质上讲,我们将传统的搜索索引(事实引擎)和推理引擎(大型语言模型)结合在一起,构建了世界上首个对话式问答引擎。”

自 2022 年推出此引擎以来,Perplexity 一直在使用 Amazon Elastic Compute Cloud(Amazon EC2)(一种提供安全且可调整大小的计算容量的平台,支持几乎所有工作负载)等核心 AWS 服务来为其产品的后端、前端和搜索组件提供支持。随着 Perplexity 的业务逐渐成熟及其 ML 模型数量的增加,其需要强大的计算能力来为用户提供服务。

Perplexity 通过与 AWS 专家探讨,了解到 Amazon SageMaker HyperPod 是专门为大规模分布式训练而构建的基础设施,可以满足其对大规模模型训练的需求。Amazon SageMaker HyperPod 预先配置了 Amazon SageMaker 分布式训练库,这些库经过优化,可运行高度可扩展且经济实惠的自定义数据并行,并可以超过 1600 Gbps 的互连速度对并行深度学习训练作业进行建模。Amazon SageMaker HyperPod 还通过定期保存检查点来防止基础模型训练中断。训练期间发生硬件故障时,AWS 服务会自动检测故障、修复故障或更换故障实例,并从上次保存的检查点恢复训练。这有助于在分布式环境中进行数周或数月的不间断模型训练。

kr_quotemark

使用 AWS,客户掌握所有主动权。对于所需使用的服务而言,没有任何要求。”

Aravind Srinivas
Perplexity 首席执行官兼联合创始人

解决方案 | 使用 Amazon SageMaker HyperPod 将模型训练时间缩短达 40%

AWS 向 Perplexity 提供了为期一个月的试用,以便展示分布式训练功能,在使用期间,该公司发现了使用 AWS 的优势。例如,Perplexity 在资源分配方面更灵活;其可使用不同的 Amazon EC2 实例类型和专用于特定任务的 GPU。

为了训练 ML 模型,Perplexity 需要大量内存,才能运行大量数据并存储不同梯度。该公司选择了 Amazon EC2 P4de 实例(一项为 ML 训练和高性能计算应用程序提供最高性能的服务)来运行训练作业,同时满足内存和带宽需求。通过使用 Amazon SageMaker HyperPod,Perplexity 在不同 GPU 之间能更快地传输数据,从而将 ML 模型训练时间缩短达 40%。

“Amazon SageMaker HyperPod 内置的数据和模型并行库帮助我们缩短了 GPU 训练时间,并将训练吞吐量提高了一倍,”Srinivas 说,“因此,我们的训练实验现在可以以两倍的速度运行,这意味着我们的开发人员可以更快地进行迭代,从而加速为客户开发新的生成式人工智能体验。由于 Amazon SageMaker HyperPod 会自动监控集群运行状况并修复 GPU 故障,我们的开发人员能够专注于模型构建,而不需要花时间管理和优化底层基础设施。”

Perplexity 旨在为用户查询提供快速准确的响应,因此需要近乎实时的推理能力。借助 Amazon EC2 P5 实例(该服务为深度学习应用程序提供最高性能的基于 GPU 的实例),Perplexity 生成答案的吞吐量相较于以往得到大幅提高。实际上,该公司可以在不影响延迟或用户体验的情况下,在高峰期间处理 1 万个并发用户和每小时超过 10 万个查询。Perplexity 还在 Amazon EC2 P5 实例上托管公开可用的 Llama 2 模型,并使用 Amazon SageMaker HyperPod 根据自己的数据对开源模型进行微调。对模型进行微调有助于增强响应的准确性和相关性,并根据 Perplexity 问答引擎的需求优化模型。

成果 | 使用 AWS 基础设施和 AI/ML 服务发展生成式人工智能

在此成功的基础上,Perplexity 有望在生成式人工智能领域开辟新天地。作为其前瞻性战略的一部分,该公司将试用 AWS Trainium,这是一种高性能 ML 训练加速器,可进一步提高训练吞吐量。Perplexity 还推出了一个 API,旨在为用户提供访问其大型语言模型的权限,该模型完全在 AWS 上运行,并已由 Amazon SageMaker HyperPod 进行了优化。

为了扩展其知识库并为用户提供更准确的答案,Perplexity 还采用了 Amazon Bedrock,这是一项完全托管的服务,可通过单个 API 提供领先 AI 公司的高性能基础模型选择。例如,Perplexity 已开始通过 Amazon Bedrock 使用 Claude 2,将编码、数学和推理等高级功能整合到其服务中。

“使用 AWS,客户掌握所有主动权,”Srinivas 说,“对于所需使用的服务而言,没有任何要求。AWS 团队一贯主张,‘满足客户所想。提供业务所需。’ 这种与客户保持一致的策略是我们真正信赖 AWS 的原因。”

关于 Perplexity

Perplexity 正在构建一个功能强大的对话式问答引擎,该引擎经过优化,可帮助用户找到相关知识,而不会添加广告和关键字。

使用的 AWS 服务

Amazon SageMaker HyperPod

AmazonSageMaker HyperPod 消除了为训练基础模型(FM)构建和优化机器学习(ML)基础设施所涉及的,千篇一律的繁重工作,最多可将训练时间缩短 40%。

了解详情 »

Amazon EC2 P5 实例

Amazon Elastic Compute Cloud(Amazon EC2)P5 实例由最新的 NVIDIA H100 Tensor Core GPU 提供支持,在 Amazon EC2 中为深度学习(DL)和高性能计算(HPC)应用程序提供最高性能。

了解详情 »

Amazon EC2 P4de 实例

P4de 实例采用 8 个 NVIDIA A100 GPU,每个具有 80GB 高性能的 HBM2e GPU 内存,比当前 P4d 实例中的 GPU 高 2 倍。

了解详情 »

Amazon Bedrock

Amazon Bedrock 是一项完全托管的服务,通过单个 API 提供来自 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 和 Amazon 等领先 AI 公司的高性能基础模型(FM),以及构建具有安全性、隐私性和负责任的 AI 的生成式人工智能应用程序所需的一系列广泛功能。

了解详情 »

更多软件和互联网客户案例

未找到任何项目 

1

开始使用 Free Tier 中的 Amazon SageMaker

AWS Free Tier 提供免费的 Amazon SageMaker 套餐,让您可以轻松开始使用 Amazon SageMaker。您的两个月免费试用期从您创建第一个 SageMaker 资源开始计算。