宣布推出面向 Amazon CloudWatch 的加速计算洞察功能

发布于: 2026年11月10日

Amazon CloudWatch 现已推出加速计算洞察功能,可为在 Amazon EKS 集群中运行的自托管人工智能推理工作负载提供监控和可观测性。以前,平台和 AI 团队无法从实例集层面了解加速器的使用情况、工作负载是否高效运行,以及导致出现性能问题的原因。加速计算洞察功能会收集整个推理堆栈的遥测数据,帮助团队识别空闲加速器、优化工作负载以降低成本,并排查常见推理问题(如生成首个 Token 的时间过长)。

只需为 Amazon EKS 启用 Amazon CloudWatch Observability 附加组件即可开始使用,该附加组件会自动发现集群中的各个 NVIDIA GPU。CloudWatch 控制台中的预置视图可让您从实例集层面逐层下钻,直至监控单个工作负载或加速器。团队可以查看哪些工作负载处于空闲状态,哪些工作负载未得到充分利用,以及每个推理工作负载的每个 Token 的估计成本。该功能也已在 CloudWatch Omni 上推出,其中包含智能体体验,可轻松解答有关推理工作负载的问题。

使用加速计算洞察功能无需额外付费。标准 CloudWatch 定价适用于您从人工智能工作负载中收集的遥测数据。

有关已推出加速计算洞察功能的 AWS 区域的更多信息,请参阅 AWS 区域表。要开始使用,请参阅加速计算洞察。