客户案例 / 生成式人工智能
速度决胜,孚知流基于 Amazon Bedrock 快速构建生成式 AI 能力,2 个月快速完成产品升级
孚知流 (FuzFlo) 通过结合大语言模型,基于其原有 AI 产品 Translai 的积累,实现了向企业级生成式 AI 知识应用孚知流里程碑式的跨越。孚知流基于 Amazon Bedrock 快速构建出了可灵活定制的企业级生成式 AI 应用。目前,孚知流使用的亚马逊云科技服务包括:Amazon Bedrock、Amazon SageMaker、 Amazon OpenSearch Service、Amazon Simple Storage Service (Amazon S3)、Amazon WAF 等。
概述 | 机会 | 解决方案 | 成果 | 使用亚马逊云科技服务
2 个月
产品开发周期从 6 个月缩短至 2 个月
灵活构建
生成式 AI 知识应用
概述
随着大语言模型的快速崛起,敏锐的企业已经捕捉到新的技术与产业机会,孚知流 (FuzFlo) 也积极参与其中。通过结合大语言模型,基于其原有 AI 产品 Translai 的积累,实现了向企业级生成式 AI 知识应用孚知流里程碑式的跨越。FuzFlo 的命名源自 Fuse(融合)+ Workflow(工作流)的结合,旨在传达出基于无代码工作流模式将 AI 和人类智慧融合、流动共创的产品理念,孚知流积极试水整合大语言模型能力,并且基于 Amazon Bedrock 快速构建出了可灵活定制的企业级生成式人工智能(以下简称 “生成式 AI”)应用。目前,孚知流使用的亚马逊云科技服务包括:Amazon Bedrock、Amazon SageMaker、 Amazon OpenSearch Service、Amazon Simple Storage Service (Amazon S3)、Amazon WAF 等。
机会 | 生成式 AI 兴起,打通企业 AI 供应链的“最后一公里”
在 2020 年,孚知流就已经有意识地将 AI 作为一种仿生技术,模拟人类利用自然语言的过程,设计出了一款企业级 AI 翻译服务产品 Translai,为企业提供精准且高性价比的翻译服务。在翻译过程中积累的优质企业语料数据可以被循环利用,不断提升翻译效果。随着 2023 年大语言模型的火爆,孚知流敏锐地捕捉到了这一历史性机会,并推出了这款可灵活定制的企业级知识应用。在生成式 AI 应用的赛道上,产品的先发优势至关重要。对于这样一家初创公司来说,在资源和时间都受限的情况下,如何快速部署落地,成了亟待解决的第一要务:
- 首先,孚知流的核心能力在于结合包括生成式 AI 在内的各种 AI 能力,提供一款方便易用的企业级知识应用产品,而非大模型的训练和开发。所以,能够方便有效的通过 API 调用不同的大模型,并且,这些模型要尽可能多样而丰富,从而适配不同业务场景的需求就变得很重要。事实上,孚知流调用不同模型来完成一条工作流的情况更是非常常见的。
- 其次,可托管的基础设施和云原生应用开发架构,都是生成式 AI 应用构建的重中之重,即能无缝与应用程序集成的同时,不增加运维成本;如果能够在一个架构上,灵活调用多种类型模型,并且计费模式以实际发生调用次数来计费,那么相较于分别部署和搭建,可以获得更高性价比。
- 第三,孚知流原有的数据库无法处理向量数据,大模型无法获取数据库信息更新,对外就很难及时、有针对性地输出查询结果,降低用户体验。
- 最后,孚知流需要在确保数据安全和隐私保护,掌控数据控制权的前提下,构建差异化的 AI 应用。
如果要逐一解决以上问题,对于一家初创公司,需要投入大量人力及精力。孚知流希望能够基于云厂商的能力,各取所长,共同为客户提供出海 AI 应用 “最后一公里” 服务。而这家云厂商不仅需要有强大云计算资源和基础设施的支持,还能将大量的基础模型整合到自身产品中,提供完整的端到端的生成式 AI 技术堆栈。
孚知流从创立起就拥抱全球化,一直采用亚马逊云科技先进的云原生架构,使得原本复杂的基础设施运维、开发系统搭建,以及容器化微服务构建发布等工作,变得简单且高效,大幅度降低孚知流 IT 运维成本的同时、提高了系统的扩展性和可靠性,加速了孚知流产品出海的进度以及国际化的部署。
此外,亚马逊云科技还为孚知流提供了全方位的本地化支持,从最佳实践分享到架构设计优化,从组织专家技术攻关到提供全面的托管服务,从渠道推广支持到宝贵的客户资源等等。亚马逊云科技的专业团队和优秀产品让孚知流可以更快、更好地解决问题,提高了服务交付质量,得到客户的高度认可。
采用亚马逊云科技海外区域的 Amazon Bedrock 服务,等于将模型放在了‘家门口’,屏蔽掉了复杂度,简化了研发流程,让开发人员能够将精力放在出海应用的研发上,帮助我们在 2 个月内完成基于原有产品的迭代,牢牢把握住了企业级生成式 AI 应用的‘窗口期’。 ”
白双
孚知流 创始人兼 CEO
解决方案 | 采用 Amazon Bedrock,低成本、高效率地使用大模型
基于双方间的深度信任,孚知流在研发之初就第一时间向亚马逊云科技进行技术咨询,并最终选择基于 Amazon Bedrock,并通过云原生构建的语言服务低代码引擎,打造出海生成式 AI 应用的能力,支持孚知流切入企业级知识库、内容生成、AI 助手、业务智能体构建等更多场景及业务应用。
Amazon Bedrock 是一个可以轻松集成、部署和管理根基模型( Foundation Model,以下简称 “FM”)的服务。通过 Amazon Bedrock,孚知流技术团队可以通过 API 访问调用多家领先的大模型,这一系列基础模型包括 Jurassic-2、Claude 2、Amazon Titan、Stable Diffusion 等,并且 Amazon Bedrock 可以使用少量带标签的示例来自定义模型以适应不同的业务场景。孚知流在模型托管和部署环境中,构建了基于 Jurassic-2 模型的出海生成式 AI 应用。Jurassic-2 是 AI21 Labs 提供的一个生产就绪型大语言模型,包括问题解答、摘要、文本生成等。Jurassic-2 模型在 Amazon Bedrock 中提供了不同大小的版本,根据任务的复杂度可选择适合的速度和成本。孚知流基于 Jurassic-2 模型,利用 RAG (检索增强生成)技术、借助私有数据来增强模型在特定领域和场景下的表现。
孚知流基于亚马逊云科技的系统架构示意图
与传统的企业搜索不同,Amazon OpenSearch Service 的向量检索功能可以在一个统一的系统下同时实现两种功能,既支持传统的 Lucene 语义检索,又能够快速实现内嵌的空间向量查询。对于 AI 应用端来说,就可以及时判断数据库中存储的内容是否和用户的问题匹配,给予终端用户更加精准的答案或描述,而非模糊回答,让用户获得更好的体验。
除了多模型选择外,Amazon Bedrock 还在数据安全层面给孚知流提供了充分的支持,保证了所有数据都经过加密处理,并且不会离开孚知流私域 VPC (Virtual Private Cloud),确保数据的私密性和安全性。 孚知流 CTO Brice 认为:“无论是数据安全、网络安全,还是应用层安全,都得益于亚马逊云科技搭建的‘安全责任共担模型’,实现了从基础设施层到应用层的端到端的安全管理。这其中,亚马逊云科技负责云自身的安全,孚知流则负责应用侧自身的业务数据安全。”
业务成果 | 速度为王,产品开发周期从 6 个月缩短至 2 个月,牢牢把握生成式 AI 应用窗口期
“2020 年以来大环境一直不好,作为创业公司我们遇到了非常多的困难。不过幸运的是,在关键节点上,我们获得了几轮融资并得到了行业的认可,我认为关键点核心在于认知和速度。三年前我们开始布局企业服务 + AI,从 Translai 到孚知流,看似服务内容和用户群体都发生了很大变化,但是我们的产品底层逻辑一直没有变。从第一性原理的认知层面出发思考产品设计,可以在变化中找到不变的东西。 另外,速度也是至关重要的,在亚马逊云科技助力下,我们的两款 AI 产品都在看似不可能的时间内完成了重大升级,这不仅帮我们争取到了宝贵的时间,也将窗口优势转化成产品先发优势,以及后续的商业化优势。”
创始人及 CEO 白双对亚马逊云科技专业的服务团队给予了充分认可:“亚马逊云科技专业、高效、有责任感,秉承‘客户至尚’理念,助力孚知流解决生成式 AI 应用构建中的各种技术和商务问题,缩短了产品迭代周期,帮助我们快速为最终用户创造价值。”
白双表示:“采用亚马逊云科技海外区域的 Amazon Bedrock 服务,等于将模型放在了‘家门口’,屏蔽掉了复杂度,简化了研发流程,让开发人员能够将精力放在出海应用的研发上,帮助我们在 2 个月内完成产品迭代,牢牢把握住了生成式 AI 的‘窗口期’。” 从基础设施层面,团队不再自己运维数据库并对脚本进行调优;从大语言模型角度,可以直接从 Amazon Bedrock 调用模型,无需考虑 GPU、模型调参和微调、稳定度等问题,能够让团队更有效率地进行研发创新。且在产品上线后的打磨阶段,会通过用户反馈进行 bug(故障)修复,基于亚马逊云科技的容器化微服务,团队可以实现局部微调,不会影响产品的实际生产环境。
AI 正在引爆生产力革命,AI 应用层必将在这一舞台上大放异彩。孚知流会继续与亚马逊云科技深入合作,充分发挥其产品化优势,加速企业级 AI 应用落地。未来,孚知流希望通过亚马逊云科技的推理、训练、模型方案,与其共同探索垂直模型的构建, 并向行业分享最佳实践。
关于孚知流
孚知流 (FuzFLo) 专注于开发符合第一性原理的企业级生成 AI 知识应用产品,将 AI 作为仿生技术应用于企业实际业务场景,实现 AI 与人类智慧的深度融合,流动和共创,从而创造可持续演化的生产力,提升商业运营效率,推动业务增⻓。
行动起来
无论行业无论规模,每天都有各种机构在使用 AWS 实现自身业务转型、实现企业愿景。欢迎您联系我们的专家,立即踏上您的 AWS 之旅。