场景化分析功能从 Token 用量、模型性能、工具调用三个维度对 AI Agent 进行深度分析,帮助您全面掌握 AI Agent 的资源消耗、模型调用质量和工具使用情况,从而优化成本、提升性能。
前提条件
已开通云监控2.0服务并创建工作空间。
已完成 AI Agent 可观测数据的接入配置。
操作路径
登录云监控2.0控制台,选择目标工作空间,在左侧导航栏选择AI Agent可观测,单击场景化分析页签。
Token 用量分析
Token 用量分析页面帮助您了解 AI Agent 在不同模型、应用和 Agent 维度上的 Token 消耗情况,便于进行成本分析和用量优化。
筛选条件
您可以通过页面顶部的筛选器对分析数据进行过滤:
筛选项 | 说明 |
模型 | 选择要分析的目标模型,支持多选。 |
AI应用 | 选择要分析的目标 AI 应用,支持多选。 |
Agent | 选择要分析的目标 Agent,支持多选。 |
核心指标
页面上方展示以下核心指标卡片,每个指标均包含日同比数据:
指标名称 | 说明 |
Token消耗(总量) | 统计时间范围内所有请求消耗的 Token 总数,包含输入和输出。 |
输入Token消耗 | 统计时间范围内所有请求的输入(Prompt)Token 消耗量。 |
输出Token消耗 | 统计时间范围内所有请求的输出(Completion)Token 消耗量。 |
缓存命中率 | 请求命中缓存的比率,命中缓存可有效降低 Token 消耗和响应耗时。 |
分析大盘
页面下方提供多维度的可视化分析大盘,主要涵盖以下分析内容:
Token 消耗的模型分布与时间趋势
单请求平均 Token 消耗趋势
AI Agent、AI 应用、模型维度的 Token 消耗 TOP 排行
您可以将鼠标悬停在图表上查看具体数据值,也可以单击图例筛选展示的数据系列。
模型性能分析
模型性能分析页面帮助您监控 AI 模型的调用质量和响应性能,及时发现性能瓶颈和异常。
筛选条件
您可以通过页面顶部的筛选器对分析数据进行过滤:
筛选项 | 说明 |
模型 | 选择要分析的目标模型,支持多选。 |
AI应用 | 选择要分析的目标 AI 应用,支持多选。 |
Agent | 选择要分析的目标 Agent,支持多选。 |
核心指标
页面上方展示以下核心指标卡片,每个指标均包含日同比数据:
指标名称 | 说明 |
调用量 | 统计时间范围内模型的总调用次数。 |
调用成功率 | 模型调用成功的请求占总请求的百分比。 |
平均耗时 | 模型调用从发起请求到接收完整响应的平均时间。 |
平均TTFT | Time To First Token,即从发起请求到接收到第一个 Token 的平均时间。该指标反映模型的首次响应速度。 |
平均TPOT | Time Per Output Token,即生成每个输出 Token 的平均时间。该指标反映模型的持续生成速度。 |
分析大盘
页面下方提供多维度的可视化分析大盘,主要涵盖以下分析内容:
模型调用量分布与时间趋势
错误类型分布
平均耗时与平均 TTFT 的时间趋势
当调用成功率出现明显下降或错误率突增时,建议结合错误类型分布图排查根因。
工具调用分析
工具调用分析页面帮助您了解 AI Agent 对外部工具的使用情况,包括调用频率、性能耗时和错误率,便于优化工具配置和排查调用异常。
总览分析
页面上方展示以下核心指标卡片,每个指标均包含日同比数据:
指标名称 | 说明 |
工具数量 | 统计时间范围内被调用的工具总数。 |
工具调用次数 | 统计时间范围内所有工具的总调用次数。 |
工具调用平均耗时 | 所有工具调用的平均响应时间。 |
工具调用错误次数 | 统计时间范围内工具调用失败的总次数。 |
总览分析区域默认展开,您可以单击折叠/展开该区域。
分析大盘
页面下方提供多维度的可视化分析大盘,主要涵盖以下分析内容:
工具调用分布(各工具的调用占比)
工具调用分析表格(含请求数、错误数、平均耗时、P90耗时、最大耗时等性能指标)
Skill 加载分析与 Skill 调用分析