Alibaba Cloud Model Studio:Model monitoring

O Model Studio oferece monitoramento de modelos, alertas e logs para acompanhamento de chamadas em tempo real, detecção rápida de anomalias e solução de problemas.

Visão geral do monitoramento de modelos

O Model Studio fornece monitoramento unificado de modelos. Uma chamada aparece nos gráficos de monitoramento em poucos minutos após sua ocorrência, ajudando você a acompanhar as chamadas de modelo em tempo real. Os dados de monitoramento são isolados por workspace: é possível visualizar apenas os dados do workspace selecionado no momento. Os dados de monitoramento servem apenas como referência e não constituem base para faturamento. Para conciliação, consulte sua fatura em Expenses and Costs.

Este tópico está organizado por módulo de recurso: para solucionar problemas de chamadas de modelo, comece pelo audit log; para configurar alertas, consulte a seção Alerting; para ativar a entrega de dados, consulte a seção Data delivery.

Filtrar dados de monitoramento por dimensão

É possível filtrar os dados de monitoramento por Time (predefinições rápidas e personalizadas), Inference Type e API-Key (todos por padrão; exibe o ID e a descrição e lista apenas as API keys existentes no workspace atual). A filtragem por granularidade de tempo está disponível somente na página de detalhes do monitoramento de modelos.

Visualizar escala geral e integridade das chamadas

A página de visão geral exibe cartões de dados como total de modelos, total de chamadas, total de falhas, duração média das chamadas e tempo médio até o primeiro token (latência do primeiro token), permitindo avaliar rapidamente a escala geral das chamadas e a integridade do sistema.

Visualizar detalhes de monitoramento ou logs de um modelo

A lista de modelos exibe os dados de monitoramento de cada modelo no workspace atual. Clique em View details para abrir a página de detalhes do monitoramento do modelo ou em View Logs para abrir a aba Audit Log na página de logs. Acesse o console do Model Studio e, no painel de navegação à esquerda, escolha Operations > Model Monitoring para abrir a página de visão geral do monitoramento.

Detalhes do monitoramento de modelos

Na página de visão geral do monitoramento, localize o modelo desejado na lista de modelos e clique em View details para abrir a página de detalhes do monitoramento desse modelo. O caminho de navegação no topo da página é: Model monitoring > nome do modelo.

A página de detalhes exibe estatísticas de chamadas e gráficos de desempenho de um único modelo e fornece uma entrada para configuração de alertas: o sino de alerta em um gráfico de métrica permite configurar rapidamente um alerta para o modelo ou métrica atual (para o gerenciamento completo de regras entre modelos, consulte a seção Alerting). As condições de filtro são as mesmas da página de visão geral (tempo, granularidade de tempo, tipo de inferência e API key), e as configurações da página de visão geral são mantidas ao acessá-la a partir dela. Para visualizar logs, retorne à lista de modelos na página de visão geral e clique na entrada View logs (consulte a seção Logging).

Métricas de monitoramento

Na página de detalhes, as métricas são exibidas em dois grupos: estatísticas de chamadas e desempenho. O significado, as notas de referência e o suporte a alertas de cada métrica estão listados na tabela a seguir.

Nome da métrica	Descrição	Referência	Suporte a alertas
Calls	Número total de vezes que o modelo é chamado	Varia conforme o negócio	Configurável
Usage	Total de tokens	Varia conforme o negócio	Configurável
Failures	Número de chamadas com falha	Varia conforme o negócio	Configurável
Failure rate	Falhas divididas pelo total de chamadas	Varia conforme o negócio	Configurável
Call duration	Tempo total da solicitação até a resposta	Varia conforme o modelo e o cenário	Configurável
Time to first token	Latência da solicitação até o primeiro token retornado	Varia conforme o modelo e o cenário	Configurável
Subsequent token latency	Tempo médio para gerar cada token após o primeiro	Varia conforme o modelo e o cenário	Sem suporte
Model TotalToken consumption	Total de tokens consumidos, agregados por modelo (métrica dedicada a modelos de alerta predefinidos)	Varia conforme o negócio	Configurável
Average usage per request	Média de tokens por solicitação	Varia conforme o negócio	Sem suporte
Content moderation error count	Número de bloqueios por moderação de conteúdo	Varia conforme o negócio	Sem suporte
Rate limiting error count	Número de acionamentos de limite de taxa 429	Varia conforme o negócio	Configurável
RPM	Solicitações por minuto	Varia conforme o negócio	Sem suporte
TPM	Tokens por minuto	Varia conforme o negócio	Sem suporte
Output tokens per second (TPS)	Tokens de saída por segundo	Varia conforme o modelo e o cenário	Sem suporte
Cache hit volume	Número de tokens de acerto do cache de contexto	Varia conforme o modelo e o cenário	Sem suporte
Cache hit rate	Proporção de tokens de acerto do cache em relação aos tokens de entrada	Varia conforme o modelo e o cenário	Sem suporte

Para obter detalhes sobre códigos de erro e limitação de taxa, consulte Error codes.

Configuração do sino de alerta

Métricas com suporte a alertas exibem um ícone de sino em seu gráfico. Clique no sino para abrir o painel lateral de configuração de regras de alerta (para detalhes dos campos, consulte a seção Alert rule management). O ícone de sino e os rótulos de status do painel lateral têm os seguintes significados:

Tipo	Status	Cor	Significado
Bell icon	No alert configured	Gray	Nenhuma regra de alerta configurada; clique para abrir o painel lateral de configuração
Bell icon	Alert configured, normal	Blue	Uma regra está configurada e não está acionada no momento; clique para visualizar os detalhes da regra
Bell icon	Alerting	Red	Um alerta está sendo acionado; clique para visualizar os detalhes do acionamento
Side-panel label	Normal	Green	Uma regra está configurada e seu status é normal
Side-panel label	Alerting	Red	Um alerta está sendo acionado
Side-panel label	Disabled	Gray	A regra está desativada e não gera mais alertas

Após clicar no sino, o painel lateral de alerta exibe campos diferentes dependendo do status do alerta (Normal = não acionado, Alerting = acionado atualmente, Recovered = acionado e depois recuperado):

Campo	Normal	Recovered	Alerting
Alert rule name	Exibido	Exibido	Exibido
Alert rule ID	Exibido	Exibido	Exibido
Alert content	Exibido	Exibido	Exibido
Alert metric	Exibido	Exibido	Exibido
Notification recipients	Exibido	Exibido	Exibido
Alert target	Exibido	Exibido	Exibido
Start time	Oculto	Exibido	Exibido
Duration	Oculto	Exibido	Exibido
Alert count	Oculto	Exibido	Exibido
Status	Oculto	Exibido	Exibido
Recovery time	Oculto	Exibido	Oculto

Alerting

O Model Studio oferece três recursos de alerta — regras de alerta, modelos de alerta e histórico de alertas — todos localizados nas abas Alert rules, Alert templates e Alert history da página Model Alert.

Gerenciamento de regras de alerta

Na página Model Alert, clique na aba Alerting para abrir a página de gerenciamento de regras de alerta. A lista de regras de alerta mostra as regras atualmente efetivas e permite criar, editar, parar e excluir regras. A lista exibe os destinatários das notificações (contatos ou grupos de contatos) e suporta múltiplos canais, como e-mail.

O caminho completo para configurar alertas pela primeira vez: primeiro conclua a autorização da função de serviço do CloudMonitor em Data delivery > Monitoring data delivery; em seguida, crie uma regra de alerta nesta seção (selecione um modelo de alerta e preencha os campos); por fim, configure as notificações de alerta (contatos ou grupos de contatos, intervalo de tempo de notificação e política de repetição).

Antes de criar uma regra de alerta, você deve autorizar a função de serviço do CloudMonitor na entrega de monitoramento de modelos (para saber como configurá-la, consulte Data delivery > Monitoring data delivery). Sem a autorização, o botão Create alert rule não fica clicável e, ao passar o mouse sobre ele, é exibida a dica: "The CloudMonitor service role is not authorized, so you cannot create an alert rule. Click to authorize." Após a autorização, o serviço CloudMonitor é ativado automaticamente em segundo plano.

1. Clique em Create Alert Rule para abrir uma nova página.
2. Preencha o nome do alerta, o modelo de alerta, o modelo, a duração, o período de verificação do alerta, o conteúdo do alerta e o nível do alerta conforme as descrições de campo a seguir.
3. Configure as notificações de alerta (contatos ou grupos de contatos de alerta, intervalo de tempo de notificação e política de repetição) e clique em Create para concluir.

Os campos do formulário são descritos na tabela a seguir.

Campo	Obrigatório	Descrição
Alert name	Obrigatório	Até 50 caracteres
Alert template	Obrigatório	Selecione um modelo predefinido ou personalizado na lista suspensa ou crie um salvando com base em um modelo
Model selection	Obrigatório	Até 50 modelos
Duration	Obrigatório	Especificado em minutos
Alert check period	Obrigatório	Padrão de 60 segundos, em segundos; deve ser um número inteiro não inferior a 0 (0 significa alertar imediatamente quando acionado)
Alert content	Obrigatório	Até 200 caracteres; suporta variáveis (é possível inserir placeholders como workspace, modelo e valor atual)
Alert level	Opcional	INFO (normal) / WARNING (aviso) / ERROR (erro) / CRITICAL (crítico), padrão INFO
Alert contacts / contact groups	Múltiplos permitidos	Originados de contatos ou grupos de contatos do CloudMonitor
Notification time range	Obrigatório	Qualquer intervalo dentro de 24 horas, podendo abranger dias (por exemplo, 23:00 a 01:00 do dia seguinte)
Repeat policy	Obrigatório	Sem escalonamento, o alerta é enviado apenas uma vez enquanto não resolvido; alternativamente, especifique um intervalo de horas e minutos para repetir as notificações

Usuários existentes que já ativaram o monitoramento avançado e configuraram regras de alerta podem migrar as regras de alerta da instância Prometheus do CloudMonitor para o Model Studio com um clique. Atualmente, apenas as regras de alerta criadas pela plataforma podem ser migradas; as regras criadas no lado do CloudMonitor não podem ser migradas.

1. Acima da lista de regras de alerta, clique em Migrate now ou Migrate alert rules.
2. Confirm the migration source. Visualize o nome e o status da instância Prometheus e clique em Start detection.
3. Check alert rules. O sistema detecta quais regras de alerta podem ser migradas e quais são incompatíveis. Selecione-as e confirme, e clique em Start migration.
4. Migrate alert rules. Durante a migração, o status "Migrating" é exibido. Ao término, o resultado de sucesso ou falha é exibido. Se a migração falhar, é possível tentar novamente. Após uma migração bem-sucedida, feche a caixa de diálogo.

Após a migração, as regras de alerta na instância Prometheus são desativadas (não excluídas); é possível excluí-las manualmente no lado do Prometheus. A tarefa de migração é retida por 6 horas, e atualizar a página durante a migração não interrompe a tarefa. Após uma migração bem-sucedida, não é necessária uma segunda migração: a entrada de migração fica oculta e apenas uma mensagem de sucesso embutida é exibida.

As regras de alerta suportam as operações de parar, editar e excluir.

Escopo dos alertas: atualmente, apenas métricas específicas suportam alertas. Os itens configuráveis estão marcados por linha na tabela de métricas na seção Model monitoring details.

Modelos de alerta

Um modelo de alerta é uma configuração de alerta com condições de acionamento predefinidas. É possível criar regras de alerta rapidamente com base em um modelo, sem precisar configurar do zero. O sistema fornece atualmente 12 modelos predefinidos, e você também pode criar os seus próprios. A aba Alert templates está na página Model Alert, no mesmo nível das abas Alert rules e Alert history.

Clique em Create alert template para abrir o painel lateral de criação de modelo de alerta e preencha as seguintes informações:

• Template name: Obrigatório, até 20 caracteres.
• Parameter selection: Até 10 parâmetros. Escolha acionar o alerta quando todas as regras atenderem às condições (AND) ou quando qualquer uma delas atender à condição (OR).
• Metric: Obrigatório. Seleciona a métrica a ser monitorada para o alerta. As opções da lista suspensa incluem chamadas, falhas, taxa de falhas, duração da chamada e tempo até o primeiro token.
• Alert threshold: Obrigatório. Selecione um operador de comparação (>, >=, <, <=, ==, !=) e um valor.
• Statistics cycle: Em minutos. Intervalo válido de 1 a 10080 minutos.

Os modelos de alerta predefinidos são marcados com uma tag Preset após o nome e permitem visualizar detalhes e copiar, mas não editar nem excluir. Os modelos de alerta personalizados permitem visualizar detalhes, editar, excluir e copiar. Use primeiro os modelos predefinidos para cobrir cenários comuns de alerta (a métrica e o limiar são predefinidos para cargas típicas); basta preencher os parâmetros para usá-los. Use modelos personalizados para condições compostas complexas e regras específicas do negócio. As métricas suportadas pelos modelos de alerta predefinidos estão listadas na tabela a seguir:

Nome do modelo de alerta predefinido	Nome da métrica
Model call failures: 1-minute sum > 10	Falhas de chamadas de modelo
Model call failure ratio: 1-minute sum > 1%	Proporção de falhas de chamadas de modelo
Model 4xx calls: 1-minute sum > 10	Chamadas 4xx de modelo
Model 4xx ratio: 1-minute sum > 1%	Proporção de 4xx de modelo
Model 429 calls: 1-minute sum > 10	Chamadas 429 de modelo
Model 429 ratio: 1-minute sum > 1%	Proporção de 429 de modelo
Model 5xx calls: 1-minute sum > 10	Chamadas 5xx de modelo
Model 5xx ratio: 1-minute sum > 1%	Proporção de 5xx de modelo
Model calls: 1-minute sum > 500	Chamadas de modelo
Model call duration: 1-minute average > 60 seconds	Duração de chamadas de modelo
Model time to first packet: 1-minute average > 10 seconds	Tempo até o primeiro pacote do modelo (tempo até o primeiro token)
Model TotalToken consumption: 1-minute sum > 10000	Consumo de TotalToken do modelo

Histórico de alertas

Na página Model Alert, clique na aba History para visualizar os registros de acionamento de alertas. Na lista de histórico de alertas, o destinatário da notificação mostra apenas as informações de contato, não as informações do canal de notificação relacionado.

O histórico de alertas pode ser filtrado por quatro condições: hora do alerta (predefinições rápidas e calendário), regra de alerta, nível do alerta e status (Recovered ou Alerting).

A lista de histórico de alertas exibe as seguintes colunas:

Coluna	Descrição
Alert instance	Identificador da instância de alerta
Alert level	Normal / Warning / Error / Critical
Alert time	Quando o alerta foi acionado
Alert count	Número de vezes que este alerta foi acionado
Alert rule	Nome e ID da regra de alerta
Status	Recovered / Alerting
Notification recipient	Contatos ou grupos de contatos de alerta
Actions	View details (abre o painel lateral de detalhes do alerta)

Clique em View details na lista para abrir o painel lateral de detalhes do alerta. O status no painel lateral de detalhes tem apenas dois valores: Recovered e Alerting.

Logging

O Model Studio registra audit logs por padrão (armazenados na plataforma, sem necessidade de configuração), capturando as informações de solicitação de cada chamada de modelo, mas não o Prompt ou o Response. Os inference logs registram o Prompt e o Response completos e as etapas intermediárias; devem ser ativados manualmente e dependem da entrega de logs para gravar os logs em seu próprio Logstore do Simple Log Service (SLS) (para a entrega de logs, consulte a seção Data delivery).

Audit Log

Os audit logs são ativados por padrão para todos os usuários, não exigem configuração e são armazenados na plataforma do Model Studio. Os audit logs registram as informações de solicitação de cada chamada de modelo, incluindo métricas principais como Request ID, horário, modelo, uso de tokens, latência e status, mas não incluem o conteúdo do Prompt e do Response. Para visualizar o conteúdo completo do Prompt e do Response, ative os inference logs (para saber como ativá-los, consulte a seção Inference Log).

Condições de filtro

Os audit logs suportam as seguintes condições de filtro:

• Time range: Últimos 7 dias por padrão; suporta consulta de logs de até 30 dias.
• Model: Seleção em lista suspensa; todos os modelos por padrão.
• API-Key ID: Seleção em lista suspensa. As API keys exibem o ID e a descrição; se uma API key for excluída, a descrição fica vazia.
• Status: Seleção múltipla, incluindo 0 (solicitação bem-sucedida, mas interrompida ativamente pelo usuário), 200 (sucesso), 4XX (exceções causadas pelo comportamento do usuário) e 5XX (serviço indisponível).
• Inference Type: Inferência em tempo real por padrão.
• Search Request ID: Correspondência exata.

Lista de logs

A lista de audit logs exibe os seguintes campos: Request ID, horário da chamada, modelo, uso, tempo até o primeiro token, duração da chamada, status e código de erro. A coluna Actions fornece View details, que abre o painel lateral de detalhes do audit log.

Painel lateral de detalhes

O painel lateral de detalhes do audit log permite alternar entre as visualizações de lista e JSON:

• Informações básicas: Request ID, horário da chamada, modelo, API key
• Uso: total de tokens, tokens de saída, tokens de entrada
• Desempenho: tempo até o primeiro token, duração da chamada, código de status, código de erro e mensagem de erro (se houver)

Para criar e gerenciar API keys, acesse System Management no console do Model Studio.

Inference Log

Os inference logs devem ser ativados manualmente. Além dos audit logs, os inference logs registram adicionalmente o Prompt e o Response completos e as etapas intermediárias, o que auxilia na depuração, otimização e solução de problemas. Os inference logs são armazenados em seu próprio Logstore do Simple Log Service.

Ativar inference logs

Os inference logs são desativados por padrão; primeiro é necessário ativar a entrega de audit logs. Na página de logs, alterne para a aba Inference Log (quando não configurada, essa aba mostra uma página de orientação para ativá-la) e clique em Start configuration para abrir a caixa de diálogo de configuração de entrega de logs. Também é possível acessá-la clicando no botão Log delivery configuration no canto superior direito da página de logs. Após concluir a autorização e a configuração do Logstore, é possível visualizar a lista de inference logs.

Lista de logs e detalhes

As condições de filtro dos inference logs são as mesmas dos audit logs, exceto pela remoção do filtro de tipo de inferência (inferência em tempo real/inferência em lote). Para modelos sem suporte a inference logs, é exibida a mensagem "The current model is not supported".

A lista de inference logs adiciona os dados de Prompt e Response aos audit logs, com limite de comprimento de 128K. Conteúdo acima de 128K é truncado; para o conteúdo completo, consulte os logs reais das chamadas.

As regras de exibição após a exclusão de uma API key são as mesmas dos audit logs (a lista não mostra a descrição e os detalhes mostram apenas o ID).

Os inference logs podem ser reciclados em conjuntos de dados de treinamento. Para mais informações, consulte Log backflow.

Data delivery

Por padrão, o Model Studio armazena as métricas de monitoramento e os audit logs na plataforma, permitindo visualizá-los no console sem nenhuma entrega. Para entregar métricas de monitoramento ou logs aos seus próprios serviços de nuvem (para retenção de longo prazo ou integração com seus próprios sistemas de O&M, o que gera cobranças dos serviços de nuvem), ative a entrega de dados correspondente: os dados de monitoramento são entregues a uma instância Prometheus do CloudMonitor, e os logs são entregues a um Logstore do Simple Log Service (SLS). A entrega de logs também é um pré-requisito para os inference logs.

No lado do SLS, não há suporte à modificação de índices; fazer isso causa falhas de consulta.

No lado do SLS, não exclua o Logstore SLS criado pelo Model Studio; excluí-lo faz com que a entrega de logs falhe.

Entrega de dados de monitoramento

A entrada de entrega de monitoramento de modelos está no canto superior esquerdo da página de visão geral do monitoramento. A entrega de monitoramento de modelos entrega automaticamente os dados de monitoramento dos modelos do Model Studio a uma instância Prometheus do Alibaba Cloud CloudMonitor para o gerenciamento unificado dos dados de monitoramento. O Model Studio fornece por padrão métricas de serviço de modelo, que podem ser visualizadas na plataforma sem configuração extra. Para entregar as métricas ao serviço CloudMonitor sob sua conta, ative a entrega de dados e configure o recurso de destino.

Etapas de configuração

Para novos usuários, a configuração da entrega de monitoramento de modelos requer as seguintes etapas:

1. Autorize a função de serviço do CloudMonitor.
2. Ative o serviço CloudMonitor.
3. Crie uma instância de monitoramento Prometheus do CloudMonitor.

A entrega de monitoramento de modelos atualmente suporta apenas instâncias Prometheus do CloudMonitor, não Prometheus autogerenciado. Para usuários existentes que já ativaram a entrega de monitoramento, a configuração existente é migrada automaticamente, os dados de monitoramento da plataforma são entregues automaticamente à instância Prometheus ativada anteriormente e a instância Prometheus não pode ser alterada. Após a ativação da entrega, os dados de monitoramento são armazenados tanto no lado da plataforma quanto no lado do usuário.

Status da entrega

Após configurar a entrega de dados, um indicador de status é exibido ao lado da entrega de monitoramento de modelos:

• Delivering (verde)
• Delivery failed (vermelho)
• Delivery not configured (cinza)

O botão de alternância da entrega é Call statistics and performance metrics delivery. Os detalhes de autorização são expandidos por padrão.

Entrega de logs

A entrada de configuração de entrega de logs está no canto superior direito da página de logs. Na página de visão geral do monitoramento, selecione um modelo para entrar em sua página de detalhes e, em seguida, alterne para a página de logs para ver essa entrada. A entrega de logs entrega automaticamente os audit logs e os inference logs dos modelos do Model Studio a um Logstore do Alibaba Cloud Simple Log Service para o gerenciamento unificado dos dados. Para entregar logs ao Simple Log Service sob sua conta, ative a entrega de logs e conclua a configuração.

Etapas de configuração

A configuração da entrega de logs pela primeira vez requer as três etapas a seguir:

1. Autorize a função do Simple Log Service.
2. Ative o Simple Log Service.
3. Crie um Logstore.

Usuários existentes que já ativaram a entrega de logs não precisam reconfigurar; a configuração original é retida automaticamente e o Logstore não pode ser alterado.

Entrega de audit logs

Após ativar ou desativar a entrega de audit logs, uma mensagem de resultado aparece brevemente no topo da página. O processo de autorização e configuração é o mesmo das etapas de configuração acima.

Entrega de inference logs

Antes de ativar a entrega de inference logs, primeiro é necessário ativar a entrega de audit logs (a entrega de inference logs não pode ser ativada quando a entrega de audit logs não está configurada). O processo de autorização e configuração da entrega de inference logs é o mesmo descrito acima.

Após a conclusão da configuração, um indicador de status é exibido ao lado da configuração de entrega de logs; os três estados têm os mesmos significados do status de entrega de dados de monitoramento.