Em um workspace do PAI, crie regras de notificação de eventos para rastrear e monitorar o status de jobs do Deep Learning Containers (DLC). Este tópico explica como usar esse recurso.
Configurar notificações de mensagens
Na página Workspace Details, escolha Configure Workspace > Configure Event Notification e clique em Create Event Rule.
-
No painel Create Event Rule, configure os parâmetros a seguir e clique em Submit.
Parâmetro
Descrição
Rule Name
Insira um nome para a regra.
Event Type
Defina Event Source como DLC Job e selecione um ou mais eventos. Você pode receber notificações dos seguintes eventos:
-
Job Progress
-
Enter Queue: O job entra no estado de fila.
-
Start Bidding: O job entra no estado de lance.
-
Start Environment Preparation: O job entra no estado de preparação de ambiente.
-
Start Run: O job entra no estado de execução.
-
Retained upon Success: O job permanece retido após a conclusão bem-sucedida.
-
Retained upon Failure: O job permanece retido após falhar.
-
Job Failure: A execução do job falha.
-
Job Completed (Succeeded or Failed): A execução do job é concluída, independentemente do resultado.
-
-
Automatic Fault Tolerance: Receba notificações quando um job do DLC encontrar um erro e acionar a tolerância a falhas automática.
-
Job Timeout: Esta opção exige a configuração prévia de regras de timeout na página de configuração de agendamento do workspace do PAI. Para obter detalhes, consulte Configure timeout alert rules.
-
Queue Timeout: A duração do job na fila excede a duração máxima configurada.
-
Environment Preparation Timeout: A duração da preparação do ambiente do job excede a duração máxima configurada.
-
Wait Timeout: O tempo de espera entre a criação do job e o início da execução excede a duração máxima configurada.
-
Run Timeout: O tempo de execução do job excede o limite máximo configurado, o que aciona uma parada automática.
-
-
Other Events
-
Job Preempted: Receba notificações quando um job de instância ociosa ou de instância spot for preemptado.
-
Job Manually Stopped
-
Job Priority Modified
-
Event Scope
Valores compatíveis:
-
Created by Me: Jobs criados por você.
-
In the current workspace: Todos os jobs do DLC no workspace atual.
-
Specify Task: Selecione jobs específicos em uma lista ou pesquise pelos nomes deles.
Event Target
Os canais compatíveis incluem DingTalk, WeCom, Lark, chamada de voz, mensagem de texto e e-mail.
-
Após criar uma regra, o sistema envia automaticamente uma mensagem aos contatos especificados quando um job a aciona. Ao receber uma notificação, acesse a página Deep Learning Containers (DLC) para verificar se o job está sendo executado conforme o esperado. Também é possível solucionar problemas verificando o status de monitoramento e os logs do job. Para mais informações, consulte View training details.
Configurar regras de alerta de timeout
Para configurar regras de timeout para tipos de eventos específicos:
-
Na página Configure Workspace, alterne para a aba Configure Scheduling. Na seção DLC, configure as regras de timeout para a duração máxima de espera e a duração máxima de execução do job.
Política
Descrição
Resource Quota
Configure a duração máxima de espera para jobs que utilizam recursos específicos. As opções disponíveis são:
-
Public Resource Group
-
Resource Quota: Selecione uma cota de recursos vinculada ao workspace do PAI.
Timeout Rule Configuration
Defina a duração do timeout para um tipo de evento especificado. Os tipos de eventos compatíveis são:
-
Job Wait Time (duração na fila + duração da preparação do ambiente)
-
Queuing Time
-
Environment Preparation Time
Você também pode clicar em Add para configurar várias regras de timeout.
-
Após configurar os parâmetros, clique em Save.
Acesse Configure Event Notification, selecione o tipo DLC Jobs e configure as notificações de eventos de timeout correspondentes. Para mais informações, consulte Configure message notifications.