Alibaba Cloud Model Studio:Monitoreo de modelos

Model Studio proporciona monitoreo de modelos, alertas y registro de logs para que pueda supervisar las llamadas a los modelos en tiempo real, detectar anomalías de manera oportuna y solucionar problemas.

Resumen de monitoreo de modelos

Model Studio proporciona un monitoreo de modelos unificado. Una llamada se refleja en los gráficos de monitoreo minutos después de producirse, lo que le ayuda a rastrear las llamadas al modelo en tiempo real. Los datos de monitoreo están aislados por espacio de trabajo: solo puede ver los datos del espacio de trabajo seleccionado actualmente. Los datos de monitoreo son solo de referencia y no se utilizan como base para la facturación. Para la conciliación, consulte su factura en Gastos y costos.

Este tema está organizado por función: para solucionar problemas de llamadas al modelo, comience con el registro de auditoría; para configurar alertas, consulte la sección Alertas; para habilitar la entrega de datos, consulte la sección Entrega de datos.

Filtrar datos de monitoreo por dimensión

Puede filtrar los datos de monitoreo por Hora (ajustes rápidos y personalizado), Tipo de inferencia y Clave API (todos de forma predeterminada; muestra el ID y la descripción, y enumera solo las claves API que existen en el espacio de trabajo actual). El filtrado por granularidad temporal solo está disponible en la página de detalles de monitoreo del modelo.

Ver escala general de llamadas y estado

La página de resumen muestra tarjetas de datos como total de modelos, total de llamadas, total de fallos, duración promedio de llamada y tiempo promedio hasta el primer token (latencia del primer token), para que pueda evaluar rápidamente la escala general de llamadas y el estado del sistema.

Ver detalles de monitoreo o registros de un modelo

La lista de modelos muestra datos de monitoreo para cada modelo en el espacio de trabajo actual. Haga clic en View details para abrir la página de detalles de monitoreo del modelo, o haga clic en View Logs para abrir la pestaña Audit Log en la página de registros. Inicie sesión en la consola de Model Studio, y en el panel de navegación izquierdo elija Operations > Model Monitoring para abrir la página de resumen de monitoreo.

Detalles de monitoreo de modelos

En la página de resumen de monitoreo, busque el modelo objetivo en la lista de modelos y haga clic en View details para abrir su página de detalles de monitoreo del modelo. La ruta de navegación en la parte superior de la página es: Monitoreo del modelo > nombre del modelo.

La página de detalles muestra estadísticas de llamadas y gráficos de rendimiento para un solo modelo y proporciona una entrada para configurar alertas: la campana de alerta en un gráfico de métricas le permite configurar rápidamente una alerta para el modelo o métrica actual (para la gestión completa de reglas entre modelos, consulte la sección Alertas). Los filtros son los mismos que en la página de resumen (tiempo, granularidad temporal, tipo de inferencia y clave API), y la configuración de la página de resumen se conserva cuando ingresa desde ella. Para ver registros, regrese a la lista de modelos en la página de resumen y haga clic en la entrada de registros View (consulte la sección Registros).

Métricas de monitoreo

En la página de detalles, las métricas se muestran en dos grupos: estadísticas de llamadas y rendimiento. El significado, las notas de referencia y la compatibilidad con alertas de cada métrica se enumeran en la siguiente tabla.

Métrica	Descripción	Referencia	Soporte de alertas
Llamadas	Número total de veces que se llama al modelo	Varía según el negocio	Configurable
Uso	Total de tokens	Varía según el negocio	Configurable
Fallos	Número de llamadas fallidas	Varía según el negocio	Configurable
Tasa de fallos	Fallos divididos entre el total de llamadas	Varía según el negocio	Configurable
Duración de la llamada	Tiempo total desde la solicitud hasta la respuesta	Varía según el modelo y el escenario	Configurable
Tiempo hasta el primer token	Latencia desde la solicitud hasta el primer token devuelto	Varía según el modelo y el escenario	Configurable
Latencia de tokens subsiguientes	Tiempo promedio para generar cada token después del primero	Varía según el modelo y el escenario	No compatible
Consumo total de tokens del modelo	Total de tokens consumidos, agregados por modelo (una métrica dedicada a plantillas de alerta predefinidas)	Varía según el negocio	Configurable
Uso promedio por solicitud	Tokens promedio por solicitud	Varía según el negocio	No compatible
Recuento de errores de moderación de contenido	Número de bloqueos de moderación de contenido	Varía según el negocio	No compatible
Recuento de errores de limitación de tasa	Número de activaciones de límite de tasa 429	Varía según el negocio	Configurable
RPM	Solicitudes por minuto	Varía según el negocio	No compatible
TPM	Tokens por minuto	Varía según el negocio	No compatible
Tokens de salida por segundo (TPS)	Tokens de salida por segundo	Varía según el modelo y el escenario	No compatible
Volumen de aciertos de caché	Número de tokens de aciertos de caché de contexto	Varía según el modelo y el escenario	No compatible
Tasa de aciertos de caché	Proporción de tokens de aciertos de caché de contexto respecto a los tokens de entrada	Varía según el modelo y el escenario	No compatible

Para obtener detalles sobre códigos de error y limitación de tasa, consulte Códigos de error.

Configuración de campana de alerta

Las métricas que admiten alertas muestran un icono de campana de alerta en su gráfico. Haga clic en la campana para abrir el panel lateral de configuración de reglas de alerta (para obtener detalles sobre los campos, consulte la sección Gestión de reglas de alerta). El icono de campana y las etiquetas de estado del panel lateral tienen los siguientes significados:

Tipo	Status	Color	Significado
Icono de campana	Sin alerta configurada	Gris	No hay ninguna regla de alerta configurada; haga clic para abrir el panel lateral de configuración
Icono de campana	Alerta configurada, normal	Azul	Hay una regla configurada y no se ha activado actualmente; haga clic para ver los detalles de la regla
Icono de campana	Alerta	Rojo	Se ha activado una alerta; haga clic para ver los detalles de la activación
Etiqueta del panel lateral	Normal	Verde	Hay una regla configurada y su estado es normal
Etiqueta del panel lateral	Alerta	Rojo	Se ha activado una alerta
Etiqueta del panel lateral	Deshabilitado	Gris	La regla está desactivada y ya no genera alertas

Después de hacer clic en la campana, el panel lateral de alerta muestra diferentes campos según el estado de la alerta (Normal = no activada, En alerta = activada actualmente, Recuperado = activada y luego recuperada):

Campo	Normal	Recuperado	En alerta
Alert rule name	Mostrado	Mostrado	Mostrado
Alert rule ID	Mostrado	Mostrado	Mostrado
Alert content	Mostrado	Mostrado	Mostrado
Alert metric	Mostrado	Mostrado	Mostrado
Notification recipients	Mostrado	Mostrado	Mostrado
Alert target	Mostrado	Mostrado	Mostrado
Start time	Oculto	Mostrado	Mostrado
Duration	Oculto	Mostrado	Mostrado
Alert count	Oculto	Mostrado	Mostrado
Status	Oculto	Mostrado	Mostrado
Recovery time	Oculto	Mostrado	Oculto

Alertas

Model Studio ofrece tres funciones de alertas: reglas de alerta, plantillas de alerta e historial de alertas, todas disponibles en las pestañas Alert rules, Alert templates y Alert history de la página Model Alert.

Gestión de reglas de alerta

En la página Model Alert, haga clic en la pestaña Alerting para abrir la página de gestión de reglas de alerta. La lista de reglas de alerta muestra las reglas efectivas actualmente y permite crear, editar, detener y eliminar reglas. La lista muestra los destinatarios de notificaciones (contactos o grupos de contactos) y admite múltiples canales, como el correo electrónico.

La ruta completa para configurar alertas por primera vez: primero complete la autorización del rol vinculado al servicio CloudMonitor en Entrega de datos > Entrega de datos de monitoreo, luego cree una regla de alerta en esta sección (seleccione una plantilla de alerta y complete los campos) y, finalmente, configure las notificaciones de alerta (contactos o grupos de contactos, rango de tiempo de notificación y política de repetición).

Antes de crear una regla de alerta, debe autorizar el rol vinculado al servicio CloudMonitor en la entrega de monitoreo de modelos (para saber cómo configurarlo, consulte Entrega de datos > Entrega de datos de monitoreo). Si no está autorizado, el botón Crear regla de alerta no será clicable y, al pasar el cursor sobre él, se mostrará la sugerencia: "El rol vinculado al servicio CloudMonitor no está autorizado, por lo que no puede crear una regla de alerta. Haga clic para autorizar". Después de la autorización, el servicio CloudMonitor se habilita automáticamente en segundo plano.

1. Haga clic en Create Alert Rule para abrir una nueva página.
2. Complete el nombre de la alerta, la plantilla de alerta, el modelo, la duración, el período de verificación de la alerta, el contenido de la alerta y el nivel de alerta tal como se describe en las descripciones de campos a continuación.
3. Configure las notificaciones de alerta (contactos de alerta o grupos de contactos, rango de tiempo de notificación y política de repetición) y luego haga clic en Create para finalizar.

Los campos del formulario se describen en la siguiente tabla.

Campo	Obligatorio	Descripción
Alert name	Obligatorio	Hasta 50 caracteres.
Alert template	Obligatorio	Seleccione una plantilla predefinida o personalizada de la lista desplegable, o cree una nueva guardando como basada en una plantilla existente.
Model	Obligatorio	Hasta 50 modelos.
Duration	Obligatorio	Especificado en minutos.
Alert check period	Obligatorio	Valor predeterminado de 60 segundos, en segundos; debe ser un número entero no menor que 0 (0 significa alertar inmediatamente al activarse).
Alert content	Obligatorio	Hasta 200 caracteres; admite variables (puede insertar marcadores de posición como espacio de trabajo, modelo y valor actual).
Alert level	Opcional	INFO / WARNING / ERROR / CRITICAL. Predeterminado INFO.
Alert contacts / contact groups	Se permiten varios	Obtenido de contactos o grupos de contactos de CloudMonitor.
Notification time range	Obligatorio	Cualquier intervalo dentro de 24 horas, y puede abarcar días (por ejemplo, de 23:00 a 01:00 del día siguiente).
Repeat policy	Obligatorio	Sin escalada significa que la alerta se envía solo una vez mientras no se resuelve; alternativamente, especifique un intervalo de horas y minutos para repetir las notificaciones.

Para los usuarios existentes que ya han habilitado el monitoreo avanzado y configurado reglas de alerta, puede migrar las reglas de alerta desde la instancia de Prometheus de CloudMonitor a Model Studio con un solo clic. Actualmente, solo se pueden migrar las reglas de alerta creadas por la plataforma; las reglas de alerta creadas en el lado de CloudMonitor no se pueden migrar.

1. Encima de la lista de reglas de alerta, haga clic en Migrate now o en Migrate alert rules.
2. ConfirmarConfirm el origen de la migración. Visualice el nombre y el estado de la instancia de Prometheus, y luego haga clic en Start detection.
3. Verificar reglas de alerta. El sistema detecta qué reglas de alerta se pueden migrar y cuáles son incompatibles. Selecciónelas y confírmelas, y luego haga clic en Start migration.
4. Migrar reglas de alerta. Durante la migración, se muestra un estado de "Migrando". Cuando finaliza la migración, se muestra el resultado de éxito o fallo. Si la migración falla, puede reintentarla. Después de una migración exitosa, cierre el cuadro de diálogo.

Después de la migración, las reglas de alerta en la instancia de Prometheus se desactivan (no se eliminan); puede eliminarlas manualmente desde el lado de Prometheus. La tarea de migración se conserva durante 6 horas, y actualizar la página durante la migración no interrumpe la tarea. Tras una migración exitosa, no se requiere una segunda migración, la entrada de migración se oculta y solo se muestra un mensaje de éxito en línea.

Las reglas de alerta admiten las operaciones de detener, editar y eliminar.

Alcance de las alertas: actualmente, solo métricas específicas admiten alertas. Los elementos configurables están marcados por fila en la tabla de métricas de la sección Detalles del monitoreo del modelo.

Plantillas de alerta

Una plantilla de alerta es una configuración de alerta con condiciones de activación predefinidas. Puede crear rápidamente reglas de alerta basadas en una plantilla sin tener que configurarlas desde cero. El sistema proporciona 12 plantillas predefinidas, y también puede crear las suyas propias. La pestaña Plantillas de alerta se encuentra en la página Model Alert, al mismo nivel que la pestaña Reglas de alerta y la pestaña Historial de alertas.

Haga clic en Create alert template para abrir el panel lateral de creación de plantillas de alerta y complete la siguiente información:

• Nombre de plantilla: Obligatorio, hasta 20 caracteres.
• Parámetro: Hasta 10 parámetros. Elija activar la alerta cuando todas las reglas cumplan las condiciones (AND) o cuando cualquiera de ellas cumpla la condición (OR).
• Métrica: Obligatorio. Selecciona la métrica a monitorear para generar alertas. Las opciones desplegables incluyen llamadas, fallos, tasa de fallos, duración de la llamada y tiempo hasta el primer token.
• Umbral de alerta: Obligatorio. Seleccione un operador de comparación (>, >=, <, <=, ==, !=) y un valor.
• Ciclo: En minutos. Rango válido de 1 a 10080 minutos.

Las plantillas de alerta predefinidas están marcadas con una etiqueta Predefinida después del nombre y admiten la visualización de detalles y la copia, pero no la edición ni la eliminación. Las plantillas de alerta personalizadas admiten la visualización de detalles, edición, eliminación y copia. Recomendaciones: utilice primero las plantillas predefinidas para cubrir escenarios de alerta comunes (la métrica y el umbral están predefinidos para cargas típicas); solo necesita completar los parámetros para usarlas. Utilice plantillas personalizadas para condiciones compuestas complejas y reglas específicas del negocio. Las métricas admitidas por las plantillas de alerta predefinidas se enumeran en la siguiente tabla.

Nombre de plantilla de alerta predefinida	Métrica
Fallos en llamadas al modelo: suma de 1 minuto > 10	Fallos en llamadas al modelo
Tasa de fallos en llamadas al modelo: suma de 1 minuto > 1%	Tasa de fallos en llamadas al modelo
Llamadas 4xx del modelo: suma de 1 minuto > 10	Llamadas 4xx del modelo
Tasa 4xx del modelo: suma de 1 minuto > 1%	Proporción de 4xx del modelo
Llamadas 429 del modelo: suma de 1 minuto > 10	Llamadas 429 del modelo
Tasa 429 del modelo: suma de 1 minuto > 1%	Proporción de 429 del modelo
Llamadas 5xx del modelo: suma de 1 minuto > 10	Llamadas 5xx del modelo
Tasa 5xx del modelo: suma de 1 minuto > 1%	Proporción de 5xx del modelo
Llamadas al modelo: suma de 1 minuto > 500	Llamadas al modelo
Duración de llamada al modelo: promedio de 1 minuto > 60 segundos	Duración de llamada al modelo
Tiempo hasta el primer token del modelo: promedio de 1 minuto > 10 segundos	Tiempo hasta el primer token del modelo (latencia del primer token)
Consumo total de tokens del modelo: suma de 1 minuto > 10000	Consumo total de tokens del modelo

Historial de alertas

En la página Model Alert, haga clic en la pestaña History para ver los registros de activación de alertas. En la lista del historial de alertas, el destinatario de la notificación muestra solo la información de contacto, no los canales de notificación relacionados.

El historial de alertas se puede filtrar por cuatro condiciones: hora de alerta (preajustes rápidos y calendario), regla de alerta, nivel de alerta y estado (Recuperado o En alerta).

La lista de historial de alertas muestra las siguientes columnas.

Columna	Descripción
Instancia de alerta	Identificador de instancia de alerta
Nivel de alerta	INFO / WARNING / ERROR / CRITICAL
Hora de la alerta	Cuándo se activó la alerta
Recuento de alertas	Número de veces que se activó esta alerta
Regla de alerta	Nombre e ID de la regla de alerta
Status	Recuperado o En alerta
Destinatario de la notificación	Contactos o grupos de contactos de alerta
Acciones	Ver detalles (abre el panel lateral de detalles de la alerta)

Haga clic en View details en la lista para abrir el panel lateral de detalles de la alerta. El estado en el panel lateral de detalles solo tiene dos valores: Recuperado y En alerta.

Registros

Model Studio registra logs de auditoría de forma predeterminada (almacenados en la plataforma, sin necesidad de configuración), capturando la información de solicitud de cada llamada al modelo, pero no el Prompt ni la Response. Los logs de inferencia registran el Prompt y la Response completos, así como los pasos intermedios; deben habilitarse manualmente y dependen de la entrega de logs para escribir los registros en su propio Logstore de Simple Log Service (SLS) (para la entrega de logs, consulte la sección Entrega de datos).

Registro de auditoría

Los logs de auditoría están habilitados de forma predeterminada para todos los usuarios, no requieren configuración y se almacenan en la plataforma Model Studio. Los logs de auditoría registran la información de solicitud de cada llamada al modelo, incluidas métricas clave como Request ID, hora, modelo, uso de tokens, latencia y estado, pero no incluyen el contenido del Prompt ni de la Response. Para ver el contenido completo del Prompt y la Response, habilite los logs de inferencia (para saber cómo habilitarlos, consulte la sección Log de inferencia).

Condiciones de filtro

Los registros de auditoría admiten las siguientes condiciones de filtro:

• Rango de tiempo: Últimos 7 días de forma predeterminada; admite la consulta de registros de hasta 30 días.
• Modelo: Selección desplegable; todos los modelos de forma predeterminada.
• ID de clave API: Selección desplegable. Las claves API muestran el ID y la descripción; si se elimina una clave API, la descripción aparece vacía.
• Estado: Selección múltiple, que incluye 0 (solicitud exitosa pero interrumpida activamente por el usuario), 200 (éxito), 4XX (excepciones causadas por el comportamiento del usuario) y 5XX (servicio no disponible).
• Tipo de inferencia: Inferencia en tiempo real de forma predeterminada.
• Buscar ID de solicitud: Coincidencia exacta.

Lista de registros

La lista de registros de auditoría muestra los siguientes campos: ID de solicitud, hora de llamada, modelo, uso, tiempo hasta el primer token, duración de la llamada, estado y código de error. La columna Acciones proporciona Ver detalles, que abre el panel lateral de detalles del registro de auditoría.

Panel lateral de detalles

El panel lateral de detalles del registro de auditoría permite alternar entre la vista de lista y la vista JSON:

• Información básica: ID de solicitud, hora de llamada, modelo, clave API.
• Uso: tokens totales, tokens de salida, tokens de entrada.
• Rendimiento: tiempo hasta el primer token, duración de la llamada, código de estado, código de error y mensaje de error (si lo hay).

Para crear y administrar claves API, vaya a Administración del sistema en la consola de Model Studio.

Registro de inferencia

Los registros de inferencia deben habilitarse manualmente. Además de los registros de auditoría, los registros de inferencia registran adicionalmente el Prompt y la Response completos, así como los pasos intermedios, lo que ayuda en la depuración, optimización y solución de problemas. Los registros de inferencia se almacenan en su propio Logstore de Simple Log Service.

Activar registros de inferencia

Los logs de inferencia están deshabilitados de forma predeterminada; primero debe habilitar la entrega de logs de auditoría. En la página de logs, cambie a la pestaña Log de inferencia (cuando no está configurada, esta pestaña muestra una página guía para habilitarla) y haga clic en Start configuration para abrir el cuadro de diálogo de configuración de entrega de logs. También puede acceder haciendo clic en el botón Log delivery configuration en la esquina superior derecha de la página de logs. Una vez completada la autorización y la configuración del Logstore, podrá ver la lista de logs de inferencia.

Lista y detalles de registros

Las condiciones de filtro para los registros de inferencia son las mismas que para los registros de auditoría, excepto que se elimina el filtro de tipo de inferencia (inferencia en tiempo real/inferencia por lotes). Para los modelos que no admiten registros de inferencia, se muestra "El modelo actual no es compatible".

Además de los registros de auditoría, la lista de registros de inferencia agrega datos de Prompt y Response, con un límite de longitud de 128 KB. El contenido que exceda los 128 KB se trunca; para ver el contenido completo, consulte los registros de llamadas reales.

Las reglas de visualización tras eliminar una clave API son las mismas que para los registros de auditoría (la lista no muestra la descripción y los detalles solo muestran el ID).

Los registros de inferencia pueden reciclarse en conjuntos de datos de entrenamiento. Para obtener más información, consulte Reflujo de registros.

Entrega de datos

De forma predeterminada, Model Studio almacena las métricas de monitoreo y los logs de auditoría en la plataforma, por lo que puede verlos en la consola sin necesidad de ninguna entrega. Para entregar métricas de monitoreo o logs a sus propios servicios de Alibaba Cloud (para retención a largo plazo o integración con sus propios sistemas de O&M, lo cual genera cargos por servicios en la nube), habilite la entrega de datos correspondiente: los datos de monitoreo se entregan a una instancia de Prometheus de CloudMonitor y los logs se entregan a un Logstore de Simple Log Service (SLS). La entrega de logs también es un requisito previo para los logs de inferencia.

En el lado de SLS, no se admite la modificación de índices; hacerlo provoca fallos en las consultas.

En el lado de SLS, no elimine el Logstore de SLS creado por Model Studio; eliminarlo provoca un fallo en la entrega de registros.

Entrega de datos de monitoreo

La entrada de entrega de monitoreo de modelos se encuentra en la esquina superior izquierda de la página de resumen de monitoreo. La entrega de monitoreo de modelos envía automáticamente los datos de monitoreo de los modelos de Model Studio a una instancia de Prometheus de Alibaba Cloud CloudMonitor para la gestión unificada de los datos de monitoreo. Model Studio proporciona métricas de servicio de modelos de forma predeterminada, que puede ver en la plataforma sin configuración adicional. Para entregar las métricas al servicio CloudMonitor bajo su cuenta, habilite la entrega de datos y configure el recurso de destino.

Pasos de configuración

Para nuevos usuarios, configurar la entrega de monitoreo de modelos requiere los siguientes pasos:

1. Autorice el rol vinculado al servicio CloudMonitor.
2. Active el servicio CloudMonitor.
3. Cree una instancia de monitoreo Prometheus de CloudMonitor.

Actualmente, la entrega de monitoreo de modelos solo admite instancias de Prometheus de CloudMonitor, no Prometheus autogestionado. Para los usuarios existentes que ya han habilitado la entrega de monitoreo, la configuración existente se migra automáticamente, los datos de monitoreo de la plataforma se entregan automáticamente a la instancia de Prometheus habilitada previamente y la instancia de Prometheus no se puede cambiar. Una vez habilitada la entrega, los datos de monitoreo se almacenan tanto en el lado de la plataforma como en el lado del usuario.

Estado de entrega

Después de configurar la entrega de datos, se muestra un indicador de estado junto a la entrega de monitoreo del modelo:

• Entregando (verde)
• Error en la entrega (rojo)
• Entrega no configurada (gris)

El botón de alternancia de entrega es Entrega de estadísticas de llamadas y métricas de rendimiento. Los detalles de autorización están expandidos de forma predeterminada.

Entrega de registros

La entrada de configuración de entrega de logs se encuentra en la esquina superior derecha de la página de logs. En la página de resumen de monitoreo, seleccione un modelo para ingresar a su página de detalles y luego cambie a la página de logs para ver esta entrada. La entrega de logs envía automáticamente los logs de auditoría y los logs de inferencia de los modelos de Model Studio a un Logstore de Alibaba Cloud Simple Log Service para la gestión unificada de datos. Para entregar logs al Simple Log Service bajo su cuenta, habilite la entrega de logs y complete la configuración.

Pasos de configuración

Configurar la entrega de registros por primera vez requiere los siguientes tres pasos:

1. Autorice el rol de Simple Log Service.
2. Active Simple Log Service.
3. Crear un Logstore.

Los usuarios existentes que ya han habilitado la entrega de registros no necesitan reconfigurarla; la configuración original se conserva automáticamente y el Logstore no se puede cambiar.

Entrega de registros de auditoría

Después de habilitar o deshabilitar la entrega de registros de auditoría, aparece brevemente un mensaje de resultado en la parte superior de la página. El proceso de autorización y configuración es el mismo que los pasos de configuración anteriores.

Entrega de registros de inferencia

Antes de habilitar la entrega de registros de inferencia, primero debe habilitar la entrega de registros de auditoría (la entrega de registros de inferencia no se puede habilitar si la entrega de registros de auditoría no está configurada). El proceso de autorización y configuración para la entrega de registros de inferencia es el mismo que el anterior.

Una vez completada la configuración, se muestra un indicador de estado junto a la configuración de entrega de registros; los tres estados tienen los mismos significados que para la entrega de datos de monitoreo.