亚马逊AWS官方博客

Amazon Bedrock Claude3 结合多智能体 Multi-agent 助力 Altrubook.AI 定义消费者 AI 新范式

关于 Altrubook AI 智能消费决策机器人

Altrubook 是全球首创场景化智能决策机器人,由国内外大厂 Google、虎扑等前员工共同研发,具有定制化 IP 决策机器人、沉浸式购物体验和需求匹配优化等独特优势。目前,Altrubook AI 已完成与 Amazon Bedrock Claude3 的深度技术融合,将 Claude3 卓越的多模态对话能力与 Altrubook AI 的领域决策模型无缝集成。凭借先进的人工智能算法,它可在创建的虚拟购物场景中,与用户进行身临其境的对话互动,智能捕捉消费诉求,给出高度个性化和情感化的商品推荐,并综合多重参数为用户规划出性价比最优的一揽子采购方案。Altrubook AI 将颠覆传统购物体验,为消费者带来前所未有的智能决策服务。它不仅能最大限度匹配消费需求,更能自动消除信息不对称,消弭买卖双方的利益鸿沟,为跨境电商及中小独立站商提供全新高效的销售渠道。

Altrubook AI 的开发公司——南京阿尔特科技是一家专注于电商消费领域模型与人工智能算法的高科技公司,由一支梦想远大的国际化科技精英团队组建而成,他们正在开启一场令人鼓舞的科技探索之旅,竭力打造世界一流的智能决策机器人产品和服务,让人工智能为人类消费决策加冕,开创智慧经济的新纪元。

关于 Amazon Bedrock Claude3

2024 年 3 月,Anthropic 宣布推出 Claude3,这是新系列的先进人工智能模型。该系列允许客户根据自身业务需求精确选择智能水平、速度和成本的组合。该系列包括三个模型:

  • Claude3 Haiku:作为系列中最快、最紧凑的模型,可实现近乎即时的响应;
  • Claude3 Sonnet:平衡了智能和速度的理想模型;
  • Claude3 Opus:在高度复杂的任务上能够实现更出色性能的高智能模型。

性能提升:在速度方面,Claude3 取得了显著提升。对于大多数工作负载而言,其处理速度是 Claude2 的两倍,同时保持了相同的智能水平。

增强的可操纵性:对人工智能系统可操纵性的提升,使用户能够更有效地控制输出,以期获得更可预测且高质量的结果。

图像到文本的视觉能力:Claude3 拥有处理图像并生成文本输出的视觉能力。它特别擅长分析和理解图表、图形、技术绘图、报告和其他视觉资料。

目前,Claude3 系列 Haiku、Sonnet 模型已经可以在 Amazon Bedrock 中使用。

Altrubook 场景运用

由于商品种类繁多、信息海量,很多用户在选购过程中常常会感到无所适从,难以权衡商品的性价比。为了解决这一痛点,Altrubook 创新性地引入了基于 LLM 的 Multi-agent 系统。通过应用 Multi-agent 框架与 Altrubook 自研的领域决策大模型(Domain-specific Large Language Model, DSLLM)以及 Cluade3 的多模态能力,Altrubook AI 为消费者提供高效率且个性化的购物决策,大幅提升消费者的购物体验。

Gen AI 在消费决策方案的技术实现

1. Multi-agent 构建智能购物新范式

对于用户目标商品的信息差,通过应用 LLM 智能体技术,Altrubook 的信息获取过程更加人性化和智能化,提高了效率和准确性。智能体能够像人一样思考和推理,根据目标自主地收集和处理信息,而不是被动执行预定义的程序,这种创新方法有助于更好地满足用户的信息需求。

在 Altrubook 中,有很多个智能体(Multi-agent),这些智能体能够像人一样思考和推理,根据既定目标自主地收集和处理信息,而不是被动执行预定义的程序,并被组织成了两个团队。

信息搜索团队(Information Retrieval Agents Team, IRAT):该团队由搜索智能体(Searcher Agent)、网页抓取智能体(Web scrape Agent)、以及语义解析智能体(Semantic Parsing Agent, SPA)组成,它们分工协作,从搜索引擎、电商平台、社交媒体等多个渠道获取与用户查询相关的原始数据,利用 BERT 模型对商品信息、用户评论等非结构化文本进行语义解析,提取关键实体、属性和情感倾向,通过 Claude 3 获取视觉信息,包括外部图片、用户浏览图片等,并将其转化为结构化的信息单元。

模拟用户团队(Pretending User Agents Team, PUAT):该团队由 Inpersonating User Agent、Inpersonating Male user Agent 和 Inpersonating Female Agent 等不同的智能体组成。他们扮演着虚拟用户的角色,根据 Altrubook LLM 生成的用户画像,模拟不同属性和偏好的用户行为,并与信息搜索团队进行交互,帮助搜集和筛选出更加符合目标用户特征的信息。

Supervisor 团队(Altrubook Supervisor Agent, ASA):作为整个 Altrubook 系统的调度中心,Altrubook Supervisor 负责协调各个智能体之间的工作流程和信息传递。它接收来自用户的查询请求,并将其分解为多个子任务分配给不同的智能体团队。同时,它还负责汇总和整合各个智能体返回的结果,并将其传递给 Altrubook DSLLM 进行最终的决策生成。

整个架构依据“ReAct”的思想构建,“ReAct”一词源于《REACT: SYNERGIZING REASONING AND ACTING IN LANGUAGE MODELS》,它由单词“Reason”和“Act”组合而成,对于某个特定的问题,使用不同的大语言模型,以区分“逻辑推理”和“执行行动”的方法,从而在两者之间实现更强的协同效应。

Act Agent:Searcher Agent(搜索智能体),Web scrape Agent(网页抓取智能体) 主要负责从外部环境中获取信息和知识,为 Reasoner 提供原始数据,它们扮演着“感知”和“行动”的角色。

Reasoner Agent(Altrubook DSLLM, Claude3)则通过语言模型的推理能力,分析 Act Agent 获取的信息,生成针对性的决策和反馈。

Altrubook Supervisor 作为整个系统的核心控制单元,负责协调各个模块之间的工作流程。它接收来自用户的请求,对任务进行分解,并动态调度 Act Agent 和 Reasoner Agent 完成任务。Altrubook Supervisor 通过对全局信息的掌握和宏观调度,实现了 Reason 和 Act 的有机结合,构建了一个“Reason+Act”的完整智能体系。

智能体工作流:

2. 借助 Claude3 模型,使 Multi-agent 具备视觉洞察能力

利用先进的多模态大模型 Claude3 对获取的信息进行判定和总结,将多智能体获取的目标信息,包括文本、图像等多模态数据作为输入提示词,通过 Amazon Bedrock Claude Message API 传递给 Claude3 大模型。凭借其强大的多模态理解能力,Claude3 能够深入理解图像内容,并结合文本信息进行全面的判定和总结。通过这样基础信息融合多模态的分析方式,能够提供更加准确、全面的信息判断,为后续的智能决策提供视觉支撑。

部分 Prompt 参考:

这个 prompt 要求 Claude 以分析师的角度,从提供的商品图片中提取颜色、品牌、品类,以及判断图片是否有提供额外的折扣信息。

3. Altrubook 领域决策大模型,最终生成可供消费者决策的方案

基于判断结果和综合信息总结,Altrubook 的领域决策大语言模型(Domain-specific Large Language Model, DSLLM)将依据信息生成最佳个性化方案,为用户提供最优的购物决策建议。

Altrubook DSLLM:作为核心大脑,Altrubook DSLLM 接收来自 Supervisor 的结构化信息,并利用其在海量电商数据集上的 Fine-tuning 学习到的知识,对信息进行语义理解、知识推理和决策生成,做出符合消费者特性的推理和决策。DSLLM 使用 SageMaker 自动拉起推理 endpoint,提供有弹性的推理能力。

  1. 基于 langchain 构建的 multi-agnet 系统会根据用户关注的商品图片,通过 Amazon Bedrock 访问 Claude3 模型,生成视觉 insight,根据图片标识,存储在数据库中。
  2. 商品视觉 insight 会结合商品结构化信息,生成商品的一个特征,存储在 ElastiCache。
  3. 经过 Supervisor Agent 的调度,将商品特征和模拟的用户特性,发送给部署在 SageMaker 推理节点上的 DSLLM 大模型进行推理,并生成决策方案。

最后

通过智能体间的高效协同,Claude3 提供的多模态视觉,以及被海量数据 Fine-tuning 的 Altrubook DSLLM,Altrubook AI 能像人一样处理复杂的信息和知识,高效地生成决策建议,重塑信息获取和智能决策的方式。相信通过在多智能体、大语言模型等前沿领域的不断深耕和创新,必将为我们带来更多令人惊叹的成果和应用。

本篇作者

陈建钧

阿尔特科技大模型训练负责人,计算机视觉领域的先驱人物。钻研人工智能算法,追求工程化落地、领域模型的情境理解与决策规划的创新性人工智能引擎。

牛泽鹏

阿尔特科技大模型架构师,大模型算法研究人才。熟悉 Transformer 等大模型核心架构,极度追求算法创新,对于大模型推理加速、架构优化有着多年丰富经验。

曹镏

亚马逊云科技解决方案架构师,专注于为企业级客户提供信息化以及生成式 AI 的架构的咨询与设计,在 AI/ML 领域具有解决实际问题能力以及落地大型模型训练项目的经验。