为LLM(Large Language Model)应用安装Python探针后,ARMS即可开始监控LLM应用,您可以在会话分析页面了解LLM应用在指定时间段内的会话列表,以及会话的详细内容。
前提条件
已为LLM应用安装探针,具体操作,请参见LLM 大语言模型应用/推理服务接入 ARMS。
查看LLM应用会话分析
-
登录ARMS控制台,在左侧导航栏选择。
-
在应用列表页面顶部选择目标地域,然后单击目标应用名称。
-
在上方导航栏单击会话分析。
-
单击页面搜索框,在下拉弹窗中可以按照会话ID、用户、会话时长、Trace数、Token总数、输入Token数、输出Token数等条件筛选会话。
-
会话分析列表页展示各会话的耗时、Tokens数(含input Tokens和output Tokens)、调用链数、用户及开始时间等信息。
单击会话名称或操作列的详情,查看会话详细信息。
单击调用链ID,可以查看调用链详情,更多信息,请参见LLM调用链分析。
会话详情页顶部展示Session ID、总耗时、Total tokens、调用链数等汇总指标,基本信息区包含开始时间、用户ID、模型名称等字段,中部以甘特图式时间轴展示各调用链的执行时间分布,下方列出各调用链详情卡片,包含调用链ID、Token数及各模型的Token消耗明细。