应用实时监控服务ARMS：概览

面板

说明

模型调用次数

应用的大语言模型在指定时间段内被调用的次数。

Token使用

应用的Token在指定时间段内被使用的次数。

Trace数

应用在指定时间段产生的调用链数量。

Span数

应用在指定时间段产生的Span数量。

会话数

应用在指定时间段产生的会话数量。

用户数

应用在指定时间段内的用户数量。

操作类型分布

• CHAIN：一种将LLM和其他多个组件连接在一起以实现复杂任务的工具，可能包含Retrieval、Embedding、LLM调用，还可以嵌套Chain等。

• EMBEDDING：嵌入处理，例如针对文本嵌入大模型的操作，可以根据相似度查询并优化问题。

• RETRIEVER：一般表示访问向量存储或者数据库获取数据，通常用于补充上下文内容，以提升LLM的响应准确性以及效率。

• RERANKER：针对输入的多个文档，结合提问内容判断相关性进行排序处理，可能返回TopK的文档作为LLM。

• LLM：标识对大模型的调用，例如基于SDK或OpenAPI请求不同的大模型进行推理或者文本生成等。

• TOOL：标识对外部工具的调用，例如可能调用计算器或者请求天气API获取最新的天气情况。

• AGENT：智能体场景，一种复杂的CHAIN，需要基于大模型的推理结果决策执行下一步，例如可能涉及到LLM以及Tool的多次调用，一步步决策得出最终答案。

• TASK：标识内部自定义方法，例如可能调用本地的某个Function应用自定义的逻辑。

Avg LLM call per request

1分钟内平均1次请求调用的大语言模型次数。

Request数趋势

LLM应用每分钟的请求数趋势图。

模型调用排行

LLM应用中被调用次数最多的大语言模型Top 5。

Request数用户排行

LLM应用中发起请求最多的用户Top 5。

会话数趋势

LLM应用每分钟的会话数趋势图。