Lindorm:Gerenciar jobs com o DMS

Pré-requisitos

• O Data Management (DMS) está ativado.

• O Lindorm Distributed Processing System (LDPS) está ativado. Para mais informações, consulte Ativar o serviço.

• Você desenvolveu um job. Para mais detalhes, consulte Práticas de desenvolvimento de jobs JAR ou Práticas de desenvolvimento de jobs Python.

• Você carregou o arquivo do job no HDFS ou no OSS. Para saber como carregar arquivos no HDFS, consulte Carregar arquivos pelo console.

Criar um fluxo de tarefas do Lindorm Spark

1. Faça login no console do DMS V5.0.

2. Acesse a página Task Orchestration.

   • Modo simples:

     1. Na seção Scene Guide, clique em Data Transmission and Processing (DTS).

     2. Na seção Data Processing à direita, clique no cartão Task Orchestration.

   • Modo normal: na barra de navegação superior, escolha Integration and Development (DTS) > Data Development > Task Orchestration.

3. Na página Task Orchestration, clique em Create Task Flow.

4. Na caixa de diálogo Create Task Flow, insira um Task Flow Name e uma Description e clique em Confirm.

5. Na lista Task Type à esquerda, arraste um nó de tarefa Lindorm Spark para o canvas. Conecte os nós para definir as dependências entre eles.

6. Configure o nó de tarefa Lindorm Spark.

   1. Clique duas vezes no nó de tarefa Lindorm Spark ou clique nele e selecione .

   2. Na página de configuração do nó, defina os parâmetros básicos e personalizados do job.

      • Na seção Basic Configurations, defina os seguintes parâmetros básicos.

        Parâmetro	Descrição
        Region	Selecione a região onde está localizada a instância do Lindorm de destino.
        Lindorm Instance	Selecione o ID da instância do Lindorm de destino.
        Task Type	Escolha um tipo de job Spark. Os tipos compatíveis são: JAR Python

      • Na seção Job Configuration, configure os parâmetros personalizados para executar o job. As seções a seguir apresentam modelos de configuração e descrições de parâmetros para diferentes tipos de jobs Spark.

        • Modelo de configuração e descrição de parâmetros para jobs JAR:

          {
            "mainResource" : "oss://path/to/your/file.jar",
            "mainClass" : "path.to.main.class",
            "args" : [ "arg1", "arg2" ],
            "configs" : {
              "spark.hadoop.fs.oss.endpoint" : "",
              "spark.hadoop.fs.oss.accessKeyId" : "",
              "spark.hadoop.fs.oss.accessKeySecret" : "",
              "spark.hadoop.fs.oss.impl" : "org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem",
              "spark.sql.shuffle.partitions" : "20"
            }
          }

          Parâmetro	Tipo	Obrigatório	Descrição	Exemplo
          mainResource	String	Sim	Caminho do pacote JAR no HDFS ou OSS.	Pacote JAR armazenado no HDFS: hdfs:///path/spark-examples_2.12-3.1.1.jar Pacote JAR armazenado no OSS: oss://testBucketName/path/spark-examples_2.12-3.1.1.jar
          mainClass	String	Sim	Classe de ponto de entrada do job JAR.	com.aliyun.ldspark.SparkPi
          args	Array	Não	Argumentos da classe principal.	["arg1", "arg2"]
          configs	Json	Não	Parâmetros de sistema do Spark. Se o job estiver armazenado no OSS, adicione as seguintes configurações: spark.hadoop.fs.oss.endpoint: endpoint do OSS onde o job está armazenado. spark.hadoop.fs.oss.accessKeyId: AccessKey ID criado no console do Alibaba Cloud. Para mais informações, consulte Criar um AccessKey. spark.hadoop.fs.oss.accessKeySecret: AccessKey secret obtido no console do Alibaba Cloud. Para mais informações, consulte Criar um AccessKey. spark.hadoop.fs.oss.impl: classe usada para acesso ao OSS. O valor deve ser org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem.	{ "spark.sql.shuffle.partitions": "200"}

        • Modelo de configuração e descrição de parâmetros para jobs Python:

          {
            "mainResource" : "oss://path/to/your/file.py",
            "args" : [ "arg1", "arg2" ],
            "configs" : {
              "spark.hadoop.fs.oss.endpoint" : "",
              "spark.hadoop.fs.oss.accessKeyId" : "",
              "spark.hadoop.fs.oss.accessKeySecret" : "",
              "spark.hadoop.fs.oss.impl" : "org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem",
              "spark.submit.pyFiles" : "oss://path/to/your/project_file.py,oss://path/to/your/project_module.zip",
              "spark.archives" : "oss://path/to/your/environment.tar.gz#environment",
              "spark.sql.shuffle.partitions" : "20"
            }
          }

          Parâmetro	Tipo	Obrigatório	Descrição	Exemplo
          mainResource	String	Sim	Caminho no OSS ou HDFS onde o arquivo Python está armazenado.	Arquivo Python armazenado no OSS: oss://testBucketName/path/spark-examples.py Arquivo Python armazenado no HDFS: hdfs:///path/spark-examples.py
          args	Array	Não	Argumentos passados ao programa principal.	["arg1", "arg2"]
          configs	Json	Não	Parâmetros de sistema do Spark. Se você carregou o job no OSS, configure os seguintes parâmetros: spark.hadoop.fs.oss.endpoint: endpoint do OSS onde o job está armazenado. spark.hadoop.fs.oss.accessKeyId: AccessKey ID criado no console do Alibaba Cloud. Para mais informações, consulte Criar um AccessKey. spark.hadoop.fs.oss.accessKeySecret: AccessKey secret obtido no console do Alibaba Cloud. Para mais informações, consulte Criar um AccessKey. spark.hadoop.fs.oss.impl: classe usada para acesso ao OSS. O valor deve ser org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem.	{"spark.sql.shuffle.partitions": "200"}

   3. Após concluir a configuração, clique em Try Run no canto superior esquerdo para verificar se o job executa conforme o esperado.

7. Depois de configurar todos os nós de tarefa, publique o fluxo de tarefas clicando em Save no canto superior esquerdo da página do fluxo de tarefas.

Visualizar histórico e logs do fluxo de tarefas

1. Na página Task Orchestration, clique no nome do fluxo de tarefas desejado.

2. No canto superior direito da página do fluxo de tarefas, clique em Go to O&M.

3. Visualize o histórico de publicação e os logs do fluxo de tarefas.

   • Para ver o histórico de publicação, acesse a página Task Flow Information e clique na aba Published Tasks. A lista de publicações inclui as colunas Version ID, Publisher, Publish Time, Remarks e Actions. Na coluna Actions, clique em Details ou DAG para visualizar os detalhes de publicação de uma versão específica.

   • Consulte os logs do fluxo de tarefas.

     1. Na aba Running History, selecione Triggered at Specified Time ou Triggered Manually na lista suspensa superior esquerda para ver os detalhes de todos os nós de tarefa do fluxo. Em seguida, expanda um registro de execução para visualizar o status, a duração e os logs de cada nó de subtarefa, como Lindorm Spark-1, Lindorm Spark-2 e Lindorm Spark-3.

     2. Clique em View ao lado do nome de um nó de tarefa para visualizar os logs de envio do job Lindorm Spark e localizar o JobID e o SparkUI do nó.

        Nota

        Se o envio do job falhar, forneça o JobID e o SparkUI ao abrir um ticket.

Configurações avançadas

Configurações de agendamento

Defina uma política de agendamento para executar automaticamente o fluxo de tarefas conforme suas necessidades de negócio. Siga estas etapas:

1. Na página Task Orchestration, clique no nome do fluxo de tarefas desejado.

2. No canto inferior esquerdo da página do fluxo de tarefas, clique em Task Flow Information.

3. Na seção Scheduling Settings à direita, ative a chave Enable Scheduling e configure a política de agendamento. A tabela a seguir descreve os parâmetros.

   Parâmetro	Descrição
   Scheduling Type	Tipo de agendamento. Valores válidos: Periodic scheduling: agenda a tarefa para execução periódica, por exemplo, uma vez por semana. Schedule once: agenda a tarefa para execução única em um horário específico.
   Effective Period	Intervalo de tempo durante o qual o ciclo de agendamento permanece ativo. O padrão é 1970-01-01~9999-01-01, indicando que o agendamento está sempre ativo.
   Scheduling Cycle	Período de agendamento da tarefa. Valores válidos: Hour: agenda a tarefa com base em horas. É necessário configurar o agendamento temporizado. Day: executa a tarefa diariamente. Configure o horário específico para a execução diária. Week: executa a tarefa em dias específicos da semana. Defina os dias e o horário desejados. Month: executa a tarefa em dias específicos do mês. Defina os dias e o horário desejados.
   Timed Scheduling	Dois modos de agendamento são compatíveis: Agendamento por intervalo fixo: Start Time: horário de início da execução da tarefa. Interval: intervalo entre execuções da tarefa, em horas. End Time: horário de término da execução da tarefa. Por exemplo, se você definir Start Time como 00:00, Interval como 6 horas e End Time como 20:59, o sistema executará a tarefa às 00:00, 06:00, 12:00 e 18:00. Agendamento por Specified Time: selecione horários específicos para executar a tarefa. Por exemplo, ao selecionar 0 hora e 5 horas, o sistema executará a tarefa às 00:00 e 05:00.
   Specified Time	Se o ciclo de agendamento for Week, selecione os dias da semana para execução da tarefa. É possível selecionar vários dias. Se o ciclo de agendamento for Month, selecione os dias do mês para execução da tarefa. É possível selecionar vários dias.
   Specific Time	Defina o horário específico para executar o fluxo de tarefas. Por exemplo, se definido como 02:55, o sistema executará a tarefa às 02:55 nos dias especificados.
   cron expression	Gerada automaticamente pelo sistema com base nas suas configurações. Nenhuma configuração manual é necessária.

   Exemplo: para agendar um fluxo de tarefas que execute às 00:00 e 12:00 todos os dias, configure a política de agendamento da seguinte forma:

   • Defina Scheduling Type como Periodic scheduling.

   • Defina Scheduling Cycle como Hour.

   • Defina Timed Scheduling como Specified Time e selecione 0 hora e 12 horas na lista Specified Time.

Configurações de variáveis

Em fluxos de tarefas com agendamento periódico, você pode passar o horário de agendamento como parâmetro para a tarefa. Por exemplo, para passar a data de negócio bizdate (dia anterior ao horário de execução) para um nó de tarefa, siga estas etapas para configurar uma variável de tempo.

1. Na página do fluxo de tarefas, clique duas vezes no nó de tarefa Lindorm Spark ou clique nele e selecione .

2. No painel à direita, clique em Variable Setting.

3. Na aba Node Variable ou Task Flow Variable, adicione um nome de variável.

4. Use a variável na seção Job Configuration. Para mais informações sobre variáveis, consulte Variáveis.

Configurações de notificação

Ative as notificações para receber mensagens sobre os resultados da execução do fluxo de tarefas. Siga estas etapas:

1. No canto inferior esquerdo da página do fluxo de tarefas, clique em Notification Configuration.

2. Ative as chaves de notificação conforme suas necessidades de negócio.

   • Success Notification: envia uma notificação quando o fluxo de tarefas é executado com sucesso.

   • Failure Notification: envia uma notificação quando o fluxo de tarefas falha.

   • Timeout Notification: envia uma notificação quando a execução do fluxo de tarefas excede o tempo limite.

3. Opcional: Configure os destinatários das mensagens. Para mais informações, consulte Gerenciar notificações.

Tópicos relacionados

Para mais informações sobre o recurso de orquestração de tarefas do Data Management (DMS), consulte Visão geral.