跳至主要内容

生成式人工智能可观测性

深入了解您的生成式人工智能工作负载(包括代理)的质量、性能和运行状况。

为什么 Amazon CloudWatch 生成式人工智能可观测性?

监控和跟踪生成式人工智能应用程序的每个组成部分,包括知识库、模型和代理,以便可以快速从原型过渡到生产。利用开箱即用的控制面板更快速地发现问题,让您了解工作负载的延迟、使用情况以及错误情况。

访问生成式人工智能可观测性文档以了解更多信息

了解性能和准确性的相关信息

只需进行简单的设置,您就能获得即用型见解,从而能够迅速进行调查,并优化质量和性能。通过预先构建的控制面板即可即时监控生成式人工智能模型的调用情况,这些控制面板能够跟踪生成式人工智能的关键指标,如令牌使用量、延迟时间和错误率。

Missing alt text value

一站式监控您的人工智能代理团队

在 CloudWatch 生成式人工智能可观测性控制台的“AgentCore”选项卡中,对您的所有人工智能代理进行监控和评测。从那里,您可以全面了解代理的行为情况,包括详细的推理过程、输入内容、输出结果以及工具的使用情况。通过全面掌握代理工作流程、应用程序和基础设施的情况,加快调试和质量审核的进程。

Missing alt text value

通过端到端的提示跟踪实现更快的调试

对知识库、工具和模型等组件进行端到端的提示跟踪,实现更快的调试。通过使用诸如时间、工具使用情况和知识查询等筛选器,在 CloudWatch 控制台中进行更深入的分析。

Missing alt text value

在生成式人工智能应用程序中进行观察

扩展 CloudWatch 的功能,以便能够观察您的生成式人工智能工作负载,包括实时监控、快速问题检测以及性能优化增强等功能。揭示隐藏的依赖关系、瓶颈以及影响半径风险,从而让您的团队能够更快地进行故障排查并共同做出更明智的决策。您还可以从诸如 Strands Agents、LangChain 和 LangGraph 的常见生成式人工智能编排框架中进行选择,这样您就可以根据自己的需求灵活选择框架。

Missing alt text value