Multitudes 使用 Amazon Bedrock 上的 3 个 LLM，在 2 个月内就完成了代码审查功能的构建

为了推动其帮助团队更好地协同工作的使命，Multitudes 构建了一个分析平台，从而利用对交付障碍、反馈和职业倦怠预防的实时洞察，来提高软件工程绩效。不过，随着公司不断扩张，它面临着一个挑战：如何更深入地了解代码审查的质量。Multitudes 首席数据科学家 Vivek Katial 表示：“我们一直都通过审查或评论的数量来衡量代码审查活动，但我们的客户希望深入了解这些审查的质量。”

传统的自然语言处理（NLP）和机器学习（ML）模型无法提供构建客户可信赖的功能所需的准确性或性能级别。Katial 补充道：“我们需要达到足够高的准确性，才能使我们的客户信任并真正重视该功能。”

Multitudes 选择了 AWS 生成式人工智能技术（包括 Amazon Bedrock）来扩展其平台，并提供新的代码审查质量功能。Katial 解释说：“数据安全性是另一项优势，因为当我们可以使用 Amazon Bedrock 在一个环境中维护所有内容而无需将数据发送到外部时，与客户的安全沟通对话就会更加简单顺畅。”

为了开发此功能，该团队评估了近 1000 个代码审查，并手动创建了一个已标记的真实数据集，其中该数据集涵盖三个维度：反馈特殊性、语气/情绪和机器人生成的活动。然后，其会对每个维度使用不同的模型：Amazon Nova Pro 用于机器人检测、Anthropic Claude 用于反馈特殊性和提示注入检测、Mistral 用于情感分析；同时还使用 Amazon Elastic Container Service（Amazon ECS）来编排数据管道。

Amazon Bedrock 为 Multitudes 提供了灵活性，使其能够根据每个维度的真实数据集，系统地测试和评估 10 多个大语言模型（LLM）。该团队针对每种模型测试了多种不同的提示和任务。运行结构化实验，让他们能够确定构建该功能的最佳模型提示组合。Multitudes 还根据早期反馈对该功能的设计和用户体验进行了迭代。例如，用户反映，用红色突出显示标记为“负面”的反馈感似乎过于严苛，因此该团队将措辞改为“需要注意”，并柔化了视觉效果，改为使用黄色突出显示。为了帮助用户更好地理解数据，该团队还在图表中添加了基准，以展示建设性审查与极简审查之间的区别，从而使团队能更轻松地简要评测自己的表现。

在推出后的两个月内，新的代码审查质量功能推动每月活跃用户实现 44% 的增长率。模型准确性显著提高，误分类率从 20% 下降到 1% 以下，程度严重，而这表明该模型现在很少将高度具体的反馈与极简审查混为一谈。Katial 表示：“Amazon Bedrock 确实帮助我们公司取得新的成就。”

该功能迅速成为该平台最常用的五种功能之一，并在推出数月后依旧保持如此。团队经常在一对一的指导课程中使用它来发现和处理无用或严苛的反馈，这表明该功能不仅被广泛采用，而且还改变了开发人员处理反馈对话的方式。

继其代码审查质量功能取得成功后，Multitudes 发布了第二项功能，即对代码审查的主题进行分类，例如评论是否与测试、格式化或整体质量有关。开发中的第三项功能可确保清晰地标记和记录任务，自动将工作分类为功能开发、维护或错误修复，从而帮助改善 Jira 的运行状况。正是这些创新，共同推动 Multitudes 朝着其使命迈进，即帮助团队更好地协同工作，而生成式人工智能在提供洞察和建议方面发挥着核心作用。