生成式 AI 助力 Notta 带飞全新会议体验：一键生成会议总结和会议纪要，58 种语言无障碍参会！

作为一个 AI 原生的会议转录工具，Notta 旨在帮助全球用户提高会议效率，支持多种语言的转录、多语言会议实时翻译、一键总结和协作分享等功能。随着生成式 AI 和 LLM（Large Language Model，大语言模型）的技术更迭和爆发，Notta 致力于拥抱最新技术，用生成式 AI 赋能业务，帮助企业更好地进行会议管理，在会前、会中和会后帮助客户提升会议决策效率。Notta 生成式 AI 技术的部署聚焦于：

• 选择合适的 LLM 提升会议输出效率和精度：如何选择合适的模型，将强大的多模态 LLM 能力适配到会议的不同环节，提升会议转录文字生成纪要和翻译的效率与精度；
• 企业会议引入 Agent 探索新应用：如何借助 Agent 自动捕捉会议中和公司内外数据的关键信息，对接工作流，探索企业会议场景的应用落地；
• 安全合规保障：如何解决业务全球化和生成式 AI 应用中的隐私保护和安全合规问题。

Notta  跟亚马逊云科技的合作主要面向日本、美国等市场，前两个阶段 Notta  将业务整体迁移到亚马逊云科技上，并大量采用数据库、人工智能和机器学习等技术服务，今年双方在生成式 AI 上的合作顺理成章。

Notta 从生成式 AI 兴起早期就开始利用 LLM 能力，2024 年 4 月，通过 Amazon Bedrock 调用业界领先 LLM，聚焦于会议管理的三类场景，正式上线了生成式 AI 新应用。

Notta 可实现边录音边转录，语音实时转文字，听到即看到；也可将录音文件或音频会后导入并转为文字，并支持边听边改，轻松编辑；支持一键分享音频，可将转录文本导出为 PDF、DOCX、TXT、SRT 等文件格式，分享至其它应用。

在应用 LLM 之前，Notta 仅能通过 Amazon Comprehend 提取会议关键词，无法输出完整的会议总结。采用 Amazon Bedrock 调用 LLM 之后，Notta 可基于转录文本借助大模型对会上的各方发言提炼关键信息，高效生成会议总结、会议纪要等。为方便参会人员快速精准获取会议关键信息，亚马逊云科技技术专家帮助 Notta 团队优化会议场景的 Prompt（提示词），通过加入 xml 标签来区分不同变量。例如，通过 <JSON> 标签标记格式内容，通过 <context> 标签标记正文，显著提升模型的响应精度，并在 Prompt 中增加语言参数，有效解决响应语言与用户期望语言不一致的问题。经过反复优化，Notta 生成的会议总结和会议纪要得到了众多使用者的认可，不少用户认为 Notta 自动总结的内容甚至比转录原文更准确。

Notta 采用亚马逊云科技的 Amazon Bedrock，基于不同的场景需求，通过 Amazon Bedrock API 调用业界领先的与场景匹配的 LLM 模型。

• 在实时翻译场景中，在 Amazon Bedrock 上选择实时性要求高、低时延的 LLM，成本效益更好。
• 在会后翻译场景中，将音频文件上传到 Amazon EC2 G5 实例运行 Notta，并调用 Notta 的自研模型 Whisper。Amazon EC2 G5 实例是基于英伟达 GPU 的最新一代实例，与 Amazon EC2 G4dn 实例相比，G5 实例可提升 3 倍的性能，且将机器学习推理的性价比提高 40%，还可为机器学习训练的性能提升 3.3 倍；与 Amazon EC2 P3 实例相比，G5 实例可将训练成本降低 15%。G5 实例帮助 Notta 获得极高性能的基础设施，Notta 就可以高效构建自有模型 Whisper。
• 在多语种会议场景中，Notta 以前采用的是第三方翻译服务，翻译的准确度并不稳定。通过 Amazon Bedrock 访问业界领先 LLM 后，Notta 可支持实时的双语互译（日语、英语、中文简体、中文繁体、韩语、印度尼西亚语、西班牙语、葡萄牙语、爪哇语、尼泊尔语、越南语等 11 种语言）和 58 种语言的会后翻译。更重要的是，生成式 AI 的引入极大地提升了翻译准确度，给多语言会议带来无碍体验。

Notta 借助 Agent 打造知识共享底座，持续创新推出生成式 AI 在会议管理领域的新应用，目前 Notta 先行探索了两类应用：

一是会议 Agent。Agent 自动感知并提取会议的关键信息，识别会者的意图，根据识别的结果调用相关工具。目前在销售会议、敏捷项目管理两类场景同步应用 Agent 自动感知会议关键信息。比如，在销售会议中，Agent 可以对接工作流，判断下一步动作，销售人员可以通过 Meeting Agent 发送邮件邀约、分析和跟踪会议内容、调用第三方客户关系管理软件服务提供商的 API 与销售流程做对接，甚至辅助完成销售中的所有步骤；在敏捷项目管理场景中，通过 Agent 调用第三方敏捷项目管理工具的 API，将会议内容与敏捷开发流程做对接。

二是聊天机器人 Notta AI，可以直接与会议纪要、会议内容对话，快速查询、获取会议内容。会议期间，与会者可以基于多份会议文档进行讨论。为了提高内容搜索效率，Notta 还采用基于 OpenSearch 实现 RAG（Retrieval Augmented Generation，检索增强生成），利用 OpenSearch Service 的向量数据库功能，让 Notta 的用户可以根据关键字进行内容搜索，也可以进行语义搜索。在聊天机器人回答客户问题时，Notta AI 可高效查找和获取产品说明书、产品功能介绍、历史记录等，节省客服搜索和响应时间；Notta AI 还加入了反馈机制，对于知识库中可能存在的无效、老旧知识进行反馈和更新。

通过亚马逊云科技遍布全球的数据中心网络，确保客户数据的存储位置符合各地区的数据安全要求和法规。

• 在业务所在地区存储数据：借助亚马逊云科技遍布全球的数据中心网络，确保不同地区的用户数据严格存储在其所在地区的亚马逊云科技数据中心。例如，日本用户的数据存储在亚马逊云科技的日本数据中心，美国用户的数据则存储在亚马逊云科技的美国数据中心；
• 满足当地安全合规认证：亚马逊云科技帮助推动 Notta 通过 ISO 27001 信息安全管理、GDPR（EU General Data Protection Regulation，欧盟通用数据保护条例）、日本的 APPI（Act on the Protection of Personal Information，个人信息保护法）等安全合规认证；
• 降低数据访问延迟：亚马逊云科技的区域化存储策略不仅帮助 Notta 满足各国严格的数据保护法规，还显著降低了数据访问延迟，提升了整体服务性能；
• 保障数据安全：Notta 还采用 AWS WAF，Amazon GuardDuty，Amazon Inspector，AWS IAM，AWS Secrets Manager，Amazon Cloud Trail 等服务帮助 Notta 保障数据加密和安全存储等，使得 Notta 满足 RPM（Request  Per Minute，每分钟请求数）、SLA（Service-Level Agreement，服务等级协议）以及其它安全需求。

此外，亚马逊云科技解决方案架构师团队向 Notta 分享领域驱动设计方法论，赋能 Notta 团队进行微服务改造，把单体应用变成微服务的应用；亚马逊云科技解决方案架构师团队还为客户引进了容器化应用改造，提高系统的可用性。

应用亚马逊云科技服务后，Notta 的开发效率得到极大提升，产品的版本开发迭代周期由 2 周变成了 1 周，产品发布速度提升了 1 倍，Notta 的生成式 AI 功能在一个月内得部署成功，实现一键生成会议总结和会议纪要，可支持 58 种语言无障碍参会。同时，亚马逊云科技解决了从基础设施、生成式 AI 应用、安全合规到架构现代化等问题，Notta 能够更加聚焦自身业务创新，实现全球用户和营收数倍增长。

采用 Amazon Bedrock 访问业界领先 LLM，对比前期采用其它 LLM 的成本降低约 30%。引入 LLM 进行翻译后，成本仅为之前采用第三方翻译服务的成本的 1/7。在云基础设施方面，Notta 使用 Amazon EC2 预留实例，结合 Amazon EC2 Spot 实例和 On-Demand（按需定价）实例，计算成本节省 30%~40%。综合以上，总体成本节省 50%。

借助亚马逊云科技服务构建应用驱动，Notta  的全球用户数倍增长，3 年内用户数量达到百万级。得益于其高效的会议转录，适配日本市场、98% 准确率的文本精度，在 2023 年日本市场研究机构 JMR 的研究报告中，Notta 被评为 Apple 公司 App Store 人工智能文字服务类别排名第一的 App。

随着 Notta 业务的发展，公司正将业务重心从日本拓宽至全球。同时，除了会议转录、总结及纪要、会议翻译等功能外，将基于亚马逊云科技 Amazon Bedrock 继续探索包括会议 Agent、聊天机器人在内的 Agent 在企业会议领域的应用，实现公司的愿景——通过对话发现无限价值。

Notta PTE. LTD 主要业务为 Notta 及其相关产品的开发和运营，业务范围覆盖全球，并在日本和美国市场取得了客户的良好反响。Notta 可通过高精度的 AI 和声音识别引擎进行文字转写和总结，覆盖从会议日程预约到会议纪要生成并共享的全流程，大幅提高会议的生产力。截至 2024 年 8 月，Notta 已被 4000 家企业引入，累计用户数超过 500 万人。