Configuración de recolección para vLLM y SGLang - Application Real-Time Monitoring Service

Application Monitoring en la consola de Cloud Monitor 2.0 le permite ajustar el alcance de recolección de vLLM y SGLang, la granularidad de las trazas y el comportamiento de los registros en cualquier momento después de que un servicio de inference entra en producción. La mayoría de los cambios surten efecto sin necesidad de reiniciar el motor de inference. Recopile información más detallada mientras aísla un problema y restrinja la recolección cuando las solicitudes contengan datos sensibles o el volumen de registros crezca demasiado.

Cada sección de este tema describe un panel de la consola y todos los interruptores que contiene: qué hace cada uno, su valor predeterminado y cuándo se aplica un cambio. El apéndice enumera las variables de entorno correspondientes, que puede usar para definir de forma estática el comportamiento de recolección antes de que inicie la aplicación.

Abrir la página de configuración de recolección

Inicie sesión en la consola de Cloud Monitor 2.0.
Elija Application Observability > Application Monitoring y luego haga clic en el nombre del servicio de inference de destino.
Haga clic en la pestaña Application Configuration y ajuste los interruptores en los paneles descritos en este tema.

La configuración del motor de inference se distribuye en cuatro paneles dentro de la pestaña Application Configuration: Agent Switch Settings, AI Application Collection Configuration, vLLM Inference Engine Configuration y SGLang Inference Engine Configuration.

En las tablas de este tema, Default es el valor que se utiliza cuando la consola no aplica un valor para ese elemento. En ese caso, el agente lee la variable de entorno. Si la variable de entorno tampoco está definida, se aplica el valor predeterminado integrado del agente o del motor. Un valor predeterminado marcado como "en el agente" corresponde a un valor integrado del agente, mientras que uno marcado como "en el motor" corresponde a un valor integrado del motor.

Agent Switch Settings

El grupo LLM (large language model) services del panel Agent Switch Settings contiene dos casillas de verificación, vllm-plugin y sglang-plugin, que controlan si el agente carga el plugin correspondiente durante el inicio. Al desmarcar una casilla, el agente deja de instrumentar ese motor, por lo que no se generan ni trazas ni métricas. El agente lee estas casillas mientras se carga, así que un cambio solo surte efecto después de reiniciar la aplicación. Para pausar temporalmente la recolección sin reiniciar, use los interruptores de recolección en los paneles descritos en a continuación secciones.

AI Application Collection Configuration

Interruptor	Valor predeterminado	Descripción
Collect LLM input and output content	Habilitado	Define si los prompts de las solicitudes y las salidas del modelo se registran en los datos de observability. Deshabilite este interruptor cuando las solicitudes contengan datos sensibles.
Maximum field length for LLM input and output content	8192	Es el número máximo de caracteres que se recopilan para una sola entrada o salida. El contenido más largo se trunca.
Collection policy for LLM input and output content	Record in span attributes	Indica dónde se escribe el contenido recopilado. Seleccione Record in span attributes para consultar el contenido junto con la traza, o bien Record in log events cuando el contenido sea extenso.
Collect multi-modal data	Deshabilitado	Aplica únicamente a la instrumentación de frameworks cliente, como LangChain, LiteLLM, DashScope y Google ADK. La instrumentación de los motores vLLM y SGLang no lee este interruptor.

Cuando se desactiva Collect LLM input and output content, dejan de generarse los spans de entrada de vLLM chat {model} y text_completion {model}. El span llm_request de nivel de solicitud y sus spans secundarios no se ven afectados. Tampoco se modifican los spans de entrada embeddings {model} y rerank {model}. La decisión de registrar o no la instrumentación para este contenido se toma cuando inicia el agente.

vLLM Inference Engine Configuration

Interruptor	Valor predeterminado	Descripción
Collect metrics for vLLM	Habilitado de forma predeterminada en el agente	Define si el agente lee las métricas del motor de inference. Al deshabilitar este interruptor, el agente detiene la recolección de métricas. Que las métricas recopiladas se reporten o no también depende del interruptor Report metrics en la página Custom Configuration, la cual no se aborda en este tema.
vLLM collection granularity	1 de forma predeterminada en el agente	Es el nivel de detalle de las trazas recopiladas. La granularidad de recolección de vLLM acepta a continuación valores: `0`: genera únicamente el span `llm_request` de nivel de solicitud. `1`: además genera los spans secundarios de las etapas `wait`, `prefill`, `decode` y `kv_transfer`. `2`: registra adicionalmente un evento de span por cada iteración de programación y recopila detalles a nivel de token.
vLLM request logs	Deshabilitado de forma predeterminada en el motor	Imprime registros de recepción y ciclo de vida de las solicitudes, como Received request, Added request, aborted y con errores.
vLLM iteration detail logs	Deshabilitado de forma predeterminada en el motor	Para cada iteración de EngineCore, imprime la cantidad de solicitudes, la cantidad de tokens y la duración de la etapa de contexto y de la etapa de generación. Use estos registros para investigar problemas de programación, como lotes incompletos o solicitudes sin atención.
Associate vLLM logs with TraceId	Deshabilitado de forma predeterminada en el agente	Inserta el TraceId y el SpanId en el prefijo del registro de vLLM para que pueda buscar registros a partir de las trazas y viceversa.
vLLM log level	INFO de forma predeterminada en el motor	Ajusta dinámicamente el nivel de registro de vLLM. El agente modifica tanto el logger como su handler para evitar que este último filtre los registros DEBUG.

Nota

Con la granularidad 2, el agente fuerza el cálculo de logprobs para las solicitudes con el fin de recopilar detalles a nivel de token. Esto altera el comportamiento de cálculo real del motor y añade una sobrecarga notable de rendimiento y volumen de datos. Establezca vLLM collection granularity en 2 únicamente mientras soluciona un problema. Con la granularidad 2, la cantidad de eventos en un solo span es proporcional al número de iteraciones y puede superar el límite predeterminado de OpenTelemetry de 128. Los eventos que exceden ese límite se descartan del span. La variable OTEL_SPAN_EVENT_COUNT_LIMIT controla dicho límite.

Los registros de detalle de iteración de vLLM imprimen cada iteración de forma completa y no se muestrean, por lo que el volumen de registros es alto en escenarios de gran rendimiento. Deshabilítelos en cuanto termine la solución de problemas.

SGLang Inference Engine Configuration

Interruptor	Valor predeterminado	Descripción
Collect metrics for SGLang	Habilitado	Define si el agente lee las métricas del motor de inference. Cuando este interruptor está activado, el agente calcula métricas de nivel de solicitud para el motor: tiempo hasta el primer token (TTFT), latencia entre tokens, cantidad total de tokens y duración de extremo a extremo. No es necesario reiniciar el motor ni agregar el parámetro de inicio `--enable-metrics` para lograrlo.
SGLang collection granularity	3 + composite stages	Es la profundidad del árbol de spans que genera la instrumentación nativa de OpenTelemetry de SGLang. Un valor mayor produce más detalle. Solo surte efecto cuando el trazado nativo del motor está activado. El agente activa el trazado nativo al iniciar el motor, por lo que no necesita agregar manualmente el parámetro de inicio `--enable-trace`.
SGLang request logs	Deshabilitado de forma predeterminada en el motor	Activa y deshabilita dinámicamente los registros de solicitudes de TokenizerManager.
SGLang request log verbosity	2 de forma predeterminada en el motor	Es el nivel de detalle que se imprime en los registros de solicitudes. Un valor mayor imprime más contenido.
SGLang log level	INFO de forma predeterminada en el motor	Ajusta dinámicamente el nivel de registro del logger `sglang`.

Para los interruptores de esta tabla que sobrescriben valores del motor, el agente guarda el valor original del motor la primera vez que aplica una sobrescritura. Al quitar el elemento de configuración desde la consola, el agente restaura el valor guardado. Deshabilitar Collect metrics for SGLang solo impide que el agente reporte métricas, pero no deshabilita las métricas nativas de Prometheus del motor.

Apéndice: variables de entorno

Para definir de forma estática el comportamiento de recolección antes de que inicie la aplicación, use las variables de entorno de a continuación tabla. La configuración de la consola tiene prioridad sobre las variables de entorno, por lo que una variable de entorno solo se usa cuando la consola no aplica un valor para ese elemento.

Interruptor de la consola	Variable de entorno	Clave de configuración de la consola
Casilla de verificación `vllm-plugin`	`OTEL_INSTRUMENTATION_VLLM_ENABLED`	`otel.instrumentation.vllm.enabled`
Casilla de verificación `sglang-plugin`	`SGLANG_INSTRUMENTATION_ENABLED`	`otel.instrumentation.sglang.enabled`
Collect LLM input and output content	`OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT`	`otel.instrumentation.genai.capture-message-content`
Maximum field length for LLM input and output content	`OTEL_INSTRUMENTATION_GENAI_MESSAGE_CONTENT_MAX_LENGTH`	`otel.instrumentation.genai.message-content.max-length`
Collection policy for LLM input and output content	`OTEL_INSTRUMENTATION_GENAI_MESSAGE_CONTENT_CAPTURE_STRATEGY`	`otel.instrumentation.genai.message-content.capture-strategy`
Collect metrics for vLLM	`OTEL_INSTRUMENTATION_VLLM_METRICS_ENABLED`	`otel.instrumentation.vllm.metrics.enabled`
vLLM collection granularity	`OTEL_INSTRUMENTATION_VLLM_TRACING_LEVEL`	`otel.instrumentation.vllm.tracing.level`
vLLM request logs	—	`apsara.apm.inference.vllm.log_requests.enabled`
vLLM iteration detail logs	—	`apsara.apm.inference.vllm.log_iteration_details.enabled`
Associate vLLM logs with TraceId	—	`apsara.apm.inference.vllm.log_trace_context.enabled`
vLLM log level	—	`apsara.apm.inference.vllm.logging.level`
Collect metrics for SGLang	`OTEL_INSTRUMENTATION_SGLANG_METRICS_ENABLED`	`otel.instrumentation.sglang.metrics.enabled`
SGLang collection granularity	—	`otel.instrumentation.sglang.tracing.level`
SGLang request logs	—	`apsara.apm.inference.sglang.log_requests.enabled`
SGLang request log verbosity	—	`apsara.apm.inference.sglang.log_requests.level`
SGLang log level	—	`apsara.apm.inference.sglang.logging.level`