Amazon SageMaker AI 宣布为推理端点推出新的可观测性功能
Amazon SageMaker AI 现已推出全新的可观测性功能，通过提供对 token 性能、GPU 健康状况、推理组件放置以及自动扩缩行为的全面可见性，帮助客户自信地运行生产级生成式人工智能推理工作负载。它消除了手动在 CloudWatch 中搜索每个端点指标、关联延迟峰值与 GPU 饱和或 KV 缓存耗尽，以及诊断扩缩操作缓慢原因的工作。该功能可实时跟踪推理性能指标，包括首 token 时间、token 间延迟、队列深度和每秒 token 数，并将这些指标与基础设施运行状况一同展示，助力客户在数分钟而非数小时内识别并解决问题。
SageMaker AI 的详细可观测性功能改变了客户监控和优化推理实例集的方式。Amazon CloudWatch 中全新的预构建 SageMaker AI 洞察控制面板为客户提供统一视图，展示 token 延迟、GPU 利用率、推理组件副本数量、扩缩事件以及冷启动细分情况，同时自动发布 OpenTelemetry 原生指标，无需额外埋点。这使团队能够快速诊断 TTFT 性能下降、验证可用区合规性，以及优化自动扩缩策略。已实现 Grafana 等可观测性工具的标准化的客户可直接使用区域 PromQL 端点进行连接，并导入预配置的控制面板模板。此功能可帮助客户自助解决运维问题，并最大限度地提升其人工智能投资回报。
SageMaker AI 推理可观测性功能已在以下 AWS 区域推出：美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（俄勒冈州）、美国西部（北加利福尼亚）、加拿大（中部）、南美洲（圣保罗）、欧洲地区（爱尔兰）、欧洲地区（法兰克福）、欧洲地区（伦敦）、欧洲地区（斯德哥尔摩）、欧洲（苏黎世）、亚太地区（孟买）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（东京）、亚太地区（首尔）和亚太地区（雅加达）。要了解更多信息，请参阅文档和 Amazon SageMaker AI 网页。