大模型服务平台百炼：模型观测

接入自建应用

通过Prometheus HTTP API获取监控数据的示例如下。完整 API 用法，请参考Prometheus HTTP API文档。

• 示例1：查询阿里云账号下全部业务空间在指定时间范围内（2025年11月20日全天，UTC时间）所有模型的Token消耗（query=model_usage），步长step=60s。

  示例

  参数说明

  GET {HTTP API}/api/v1/query_range?query=model_usage&start=2025-11-20T00:00:00Z&end=2025-11-20T23:59:59Z&step=60s Accept: application/json Content-Type: application/json Authorization: Basic base64Encode(AccessKey:AccessKeySecret)

  query：query对应的值可替换为下方监控指标列表中的任意指标名称。 展开查看监控指标 类型 指标名称 描述 调用次数 model_call_count 模型调用次数总和 调用时长 model_call_duration_total 模型调用时长总和 model_call_duration 模型调用时长均值 model_call_duration_p50 模型调用时长p50 model_call_duration_p99 模型调用时长p99 model_first_token_duration_total 模型首包时长总和 model_first_token_duration 模型首包时长均值 model_first_token_duration_p50 模型首包时长p50 model_first_token_duration_p99 模型首包时长p99 非首包时长 model_generation_duration_per_token_total 模型非首包时长总和 model_generation_duration_per_token 模型非首包时长均值 model_generation_duration_per_token_p50 模型非首包时长p50 model_generation_duration_per_token_p99 模型非首包时长p99 用量 model_usage 模型用量总和 HTTP API：{HTTP API}需替换为前面步骤一获取的HTTP API地址。 Authorization：需将阿里云账号的 AccessKey:AccessKeySecret 拼接后进行Base64编码，并以 Basic 编码后字符串 的形式提供。 示例值：Basic TFRBSTV3OWlid0U4XXXXU0xb1dZMFVodmRsNw== 请注意：AccessKey及AccessKey Secret与前面步骤一的Prometheus实例必须归属同一阿里云账号。

• 示例2：在示例1基础上增加筛选，仅获取指定模型（model=qwen-plus）在指定业务空间（workspace_id=llm-nymssti2mzww****）内的Token消耗。

  示例

  说明

  GET {HTTP API}/api/v1/query_range?query=model_usage{workspace_id="llm-nymssti2mzww****",model="qwen-plus"}&start=2025-11-20T00:00:00Z&end=2025-11-20T23:59:59Z&step=60s Accept: application/json Content-Type: application/json Authorization: Basic base64Encode(AccessKey:AccessKeySecret)

  query：通过{} 包裹多个过滤条件，条件之间以英文逗号分隔，例如：{workspace_id="值1",model="值2"} 。支持的过滤条件（LabelKey）清单如下。 展开查看支持的过滤条件 LabelKey 描述 user_id 阿里云账号ID。 RAM用户为UID。如何获取 apikey_id API Key ID（非API Key），可在密钥管理（国际版 | 中国大陆版）页面获取。 说明 apikey_id 值为 -1 表示调用源自阿里云百炼控制台，而非通过API。 workspace_id 业务空间ID。如何获取 model 模型。 protocol 协议类型。可能取值： HTTP：HTTP非流式 SSE：HTTP流式 WS：Websocket协议 sub_protocol 子协议。可能取值： DEFAULT：同步调用 ASYNC：异步调用 常见于图像生成模型。文本生成图像 status_code HTTP状态码。 仅model_call_count监控指标支持该LabelKey。 error_code 错误码。 仅model_call_count监控指标支持该LabelKey。 usage_type 用量类型。 仅model_usage监控指标支持该LabelKey。 可能取值： total_tokens input_tokens output_tokens cache_tokens image_tokens audio_tokens video_tokens image_count audio_count video_count duration characters audio_tts times

接入 Grafana

在 Grafana（自建或阿里云 Grafana 服务）中添加模型观测数据源。此处以Grafana 10.x（英文版）为例。其他版本的操作类似，详情请参考Grafana官方文档。

1. 添加数据源：

   1. 使用管理员账号登录Grafana。点击页面左上角的图标，选择Administration > Data sources。点击+ Add new data source，数据源类型选择Prometheus。

   2. 在Settings页签配置数据源信息：

      • Name：输入自定义的名称。

      • Prometheus server URL：输入前面步骤一获取的HTTP API地址。

      • Auth：开启Basic auth，并设置User（阿里云账号的AccessKey）及Password（阿里云账号的AccessKey Secret）。

        AccessKey及AccessKeySecret与前面步骤一的Prometheus实例必须归属同一阿里云账号。

      

   3. 点击页签底部的Save & Test。

2. 指标查询：

   1. 点击Grafana页面左上角的图标，在左侧导航栏中点击Dashboards。

   2. 点击Dashboards页面右侧的New > New dashboard创建一个新的仪表盘。

   3. 点击+ Add visualization，并选择您刚创建的数据源。

   4. 在Edit Panel页面点击Query页签，在A区域的Label filters字段中选择_name_及指标名称。以查询模型Token消耗model_usage为例：

      示例

      说明

      图中_name_对应的值（model_usage）可替换为下方监控指标列表中的任意指标名称。 展开查看监控指标 类型 指标名称 描述 调用次数 model_call_count 模型调用次数总和 调用时长 model_call_duration_total 模型调用时长总和 model_call_duration 模型调用时长均值 model_call_duration_p50 模型调用时长p50 model_call_duration_p99 模型调用时长p99 model_first_token_duration_total 模型首包时长总和 model_first_token_duration 模型首包时长均值 model_first_token_duration_p50 模型首包时长p50 model_first_token_duration_p99 模型首包时长p99 非首包时长 model_generation_duration_per_token_total 模型非首包时长总和 model_generation_duration_per_token 模型非首包时长均值 model_generation_duration_per_token_p50 模型非首包时长p50 model_generation_duration_per_token_p99 模型非首包时长p99 用量 model_usage 模型用量总和 增加以下Label filters进一步筛选： 展开查看支持的过滤条件 LabelKey 描述 user_id 阿里云账号ID。 RAM用户为UID。如何获取 apikey_id API Key ID（非API Key），可在密钥管理（国际版 | 中国大陆版）页面获取。 说明 apikey_id 值为 -1 表示调用源自阿里云百炼控制台，而非通过API。 workspace_id 业务空间ID。如何获取 model 模型。 protocol 协议类型。可能取值： HTTP：HTTP非流式 SSE：HTTP流式 WS：Websocket协议 sub_protocol 子协议。可能取值： DEFAULT：同步调用 ASYNC：异步调用 常见于图像生成模型。文本生成图像 status_code HTTP状态码。 仅model_call_count监控指标支持该LabelKey。 error_code 错误码。 仅model_call_count监控指标支持该LabelKey。 usage_type 用量类型。 仅model_usage监控指标支持该LabelKey。 可能取值： total_tokens input_tokens output_tokens cache_tokens image_tokens audio_tokens video_tokens image_count audio_count video_count duration characters audio_tts times

   5. 点击Run queries进行查询。

      如果图表中成功渲染出数据，则说明配置成功。否则请检查：1）填写的HTTP API地址或AccessKey及AccessKeySecret是否正确；2）前面步骤一的Prometheus实例中是否有监控数据。