Platform For AI:Agendamento periódico

Pré-requisitos

• Verifique se as permissões necessárias para o DLC foram concedidas. Para mais informações, consulte Cloud product dependencies and authorization: DLC.

• Conceda acesso do DataWorks ao PAI.

  Acesse a Página de Autorização para conceder as permissões com um único clique. Para mais detalhes sobre a política de permissões, consulte AliyunServiceRoleForDataWorksEngine. Somente uma conta Alibaba Cloud ou um usuário RAM com a política AliyunDataWorksFullAccess pode realizar essa autorização com um clique.

• Crie um fluxo de trabalho.

  É necessário criar um fluxo de trabalho antes de criar um nó. Para mais informações, consulte Create a workflow.

Considerações

• Cada execução concluída de um nó PAI DLC gera uma nova tarefa do DLC na plataforma de Treinamento Distribuído (DLC) do PAI. Para evitar o acúmulo de muitas tarefas com nomes idênticos, defina uma frequência de agendamento adequada e adicione variáveis de data e hora ao nome da tarefa. Atribua parâmetros de agendamento baseados em tempo a essas variáveis para que cada nome de tarefa inclua um carimbo de data/hora exclusivo. Para mais informações, consulte Step 2: Develop a PAI DLC task.

• O DataWorks não oferece suporte à execução de tarefas PAI DLC no grupo de recursos de agendamento público.

Etapa 1: Criar um grupo de recursos de agendamento exclusivo

No DataWorks console, crie um grupo de recursos exclusivo para agendamento. Para mais informações, consulte Use an exclusive resource group for scheduling.

Etapa 2: Vincular o workspace

Vincule o grupo de recursos exclusivo de agendamento a um workspace antes de poder selecioná-lo. Para mais informações, consulte Step 2: Bind a workspace.

Etapa 3: Instalar o kit de ferramentas do DLC

A instalação do kit de ferramentas do DLC requer permissão de administrador.

1. Crie um comando.

   1. Faça login no DataWorks console. No painel de navegação à esquerda, clique em Resource Group. A página Exclusive Resource Group aparece por padrão.

   2. Localize o grupo de recursos exclusivo cujo Purpose seja Data Scheduling. Na coluna Actions, clique no ícone e selecione O&M Assistant.

   3. Na página do Assistente de O&M, clique em Create Command, configure os parâmetros principais conforme descrito na tabela a seguir e clique em OK.

      Parâmetro	Descrição
      Command Type	Selecione Manually Enter.
      Command Content	Insira os seguintes comandos. wget -P /home/admin/usertools/tools/ https://dlc-release.oss-cn-zhangjiakou.aliyuncs.com/console/public/latest/dlc --no-check-certificate chmod +x /home/admin/usertools/tools/dlc
      Installation Directory	Instale o kit de ferramentas no diretório /home/admin/usertools/tools/.
      Timeout	O período de tempo limite para o comando, em segundos. Se o comando atingir o tempo limite, o sistema o encerrará. Recomenda-se um valor de 60 segundos.

2. Execute o comando.

   1. Na página do Assistente de O&M, localize o comando criado e clique em Actions na coluna Run Command.

   2. No painel Run Command, clique em Run.

3. Visualize o status de execução do comando.

   1. Na lista na parte inferior da página do Assistente de O&M, clique em View result para o comando correspondente. Se o status de execução for Succeeded, o comando para instalar o kit de ferramentas do DLC foi executado com sucesso.

   2. Na caixa de diálogo Command Execution Result, visualize os detalhes da execução. Se o progresso for 100%, o kit de ferramentas do DLC foi instalado com sucesso.

Etapa 4: Criar um fluxo de trabalho

1. Acesse a página DataStudio.

   Faça login no DataWorks console. Na barra de navegação superior, selecione a região desejada. No painel de navegação à esquerda, escolha Data Development and Governance > Data Development. Na página exibida, selecione o workspace desejado na lista suspensa e clique em Go to Data Development.

Etapa 5: Enviar uma tarefa de teste

O envio periódico de tarefas requer um nó de tarefa existente. Antes de configurar o agendamento, execute um teste de fumaça para criar esse nó inicial. Se já existir um nó, pule para a Etapa 6.

1. Edite o script de deploy.

   1. Na página do fluxo de trabalho, clique duas vezes no nó Shell criado (nó de deploy).

   2. Na página do nó Shell, insira os seguintes comandos.

      # Generate a job description file.
      cat << EOF > jobfile
      name=dataworks-job
      workers=1
      worker_spec=ecs.g6.large
      worker_image=registry-vpc.cn-hangzhou.aliyuncs.com/pai-dlc/pytorch-training:1.7.1-gpu-py37-cu110-ubuntu18.04
      command=echo $(date)
      EOF
      # Submit the job.
      /home/admin/usertools/tools/dlc submit pytorchjob\
          --access_id=<your_access_key_id> \
          --access_key=<your_access_key_secret> \
          --endpoint=pai-dlc.cn-hangzhou.aliyuncs.com \
          --region=cn-hangzhou \
          --job_file=./jobfile \
          --interactive

      O arquivo jobfile descreve as informações da tarefa. Para mais detalhes sobre a configuração, consulte Submit commands. A tabela a seguir lista o mapeamento entre o parâmetro endpoint e as regiões.

      Região	Endpoint
      China (Shanghai)	pai-dlc.cn-shanghai.aliyuncs.com
      China (Beijing)	pai-dlc.cn-beijing.aliyuncs.com
      China (Hangzhou)	pai-dlc.cn-hangzhou.aliyuncs.com
      China (Shenzhen)	pai-dlc.cn-shenzhen.aliyuncs.com
      China (Hong Kong)	pai-dlc.cn-hongkong.aliyuncs.com
      Singapore	pai-dlc.ap-southeast-1.aliyuncs.com
      Malaysia (Kuala Lumpur)	pai-dlc.ap-southeast-3.aliyuncs.com
      Germany (Frankfurt)	pai-dlc.eu-central-1.aliyun.cs.com

2. Execute o script.

   1. Na página do nó Shell, clique no ícone na parte superior da página. Na caixa de diálogo Warning, clique em Continue to Run.

   2. Na página Run Parameters, defina Resource Group for Scheduling como o grupo de recursos exclusivo que você criou. Em seguida, clique em OK.

   Após a conclusão da execução, uma tarefa é criada. Visualize a tarefa na página de treinamento distribuído (DLC) no workspace padrão do PAI.

Etapa 6: Configurar o agendamento periódico

1. Execute a tarefa agendada.

   1. Na página do nó Shell, clique em Scheduling Settings no lado direito.

   2. Na página Scheduling Settings, vá para a seção Time Properties e configure as propriedades Scheduling Cycle e Rerun.

   3. Na seção Scheduling Dependencies, clique em Use Workspace Root Node ao lado de Parent Nodes.

   4. Configure as dependências. Para mais informações, consulte Configure same-cycle scheduling dependencies.

   5. Clique no ícone na parte superior da página do nó Shell para salvar a configuração.

   6. Clique no ícone na parte superior da página do nó Shell para confirmar a tarefa agendada.

2. Visualize as instâncias da tarefa agendada.

   1. Na página do nó Shell, clique em O&M no canto superior direito. Na página Operation Center, escolha Cycle Task O&M > Cycle Instance.

   2. Na página de detalhes da instância, visualize o Scheduled Time da tarefa enviada automaticamente. Na coluna Actions, escolha More > View Running Log para visualizar o log de execução de cada envio.