DataWorks:Crie um nó CDH MR

Pré-requisitos

• Um workflow criado no DataStudio.

  No DataStudio, as tarefas de desenvolvimento são organizadas em workflows. Crie um workflow antes da criação de um nó. Para mais informações, consulte Crie um workflow.

• Um cluster CDH criado e registrado no seu workspace do DataWorks.

  Registre o cluster CDH em um workspace do DataWorks antes da criação de nós e tarefas CDH. Para mais informações, consulte Bind a CDH compute resource in the old version of DataStudio.

• (Opcional) Se estiver usando um usuário RAM, adicione-o ao workspace e atribua a função Development ou Workspace Administrator. A função Workspace Administrator possui permissões amplas; portanto, atribua-a com cautela. Para mais informações sobre como adicionar membros, consulte Add members to a workspace.

• Um grupo de recursos serverless adquirido e configurado. A configuração inclui vincular o grupo de recursos ao workspace e definir a rede. Para mais informações, consulte Use a serverless resource group.

Limitações

As tarefas do CDH Hive podem ser executadas em um grupo de recursos serverless ou em um grupo de recursos exclusivo de versão antiga para agendamento. Recomendamos o uso de um grupo de recursos serverless.

Etapa 1: Crie um nó CDH MR

1. Acesse o console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.

2. Clique com o botão direito do mouse em um workflow e escolha Create Node > cdh > CDH MR.

3. Na caixa de diálogo Create Node, configure a instância do mecanismo, o caminho e o nome do nó.

4. Clique em OK. O editor de nós será aberto para que você desenvolva e configure a tarefa.

Etapa 2: Crie e referencie um recurso CDH JAR

Faça upload de recursos da sua máquina local para o DataStudio e, em seguida, referencie-os em seus nós.

1. Crie um recurso CDH JAR.

   No workflow correspondente, clique com o botão direito do mouse em cdh > Resources e escolha Create Resource > CDH JAR. Na caixa de diálogo Create Resource, clique em Click Upload e selecione o arquivo que deseja enviar.

   Na caixa de diálogo, o Storage path padrão é /user/admin/lib. Se a autenticação Kerberos estiver ativada, conceda permissões de gravação ao usuário atual neste diretório. O pacote JAR enviado não pode exceder 50 MB, e seu Name deve terminar com o sufixo .jar.

2. Referencie o recurso CDH JAR.

   1. Abra a página de edição do nó CDH MR criado.

   2. Em cdh > Resources, localize o recurso que deseja referenciar (por exemplo, onaliyun_mr_wordcount-1.0-SNAPSHOT.jar). Clique com o botão direito do mouse no nome do recurso e escolha Insert Resource Path.

      A opção Insert Resource Path adiciona uma instrução no formato ##@resource_reference{""} ao editor de código, indicando que o recurso foi referenciado. O comando a seguir é um exemplo. Substitua o pacote de recursos, o nome do bucket e o caminho do espaço reservado pelas suas informações reais.

      ##@resource_reference{"onaliyun_mr_wordcount-1.0-SNAPSHOT.jar"}
      onaliyun_mr_wordcount-1.0-SNAPSHOT.jar cn.apache.hadoop.onaliyun.examples.EmrWordCount oss://onaliyun-bucket-2/cdh/datas/wordcount02/inputs oss://onaliyun-bucket-2/cdh/datas/wordcount02/outputs

      Nota

      O editor de código para nós CDH MR não aceita comentários.

Etapa 3: Configurar o agendamento da tarefa

Se precisar de uma programação recorrente, clique em Scheduling no painel à direita e configure as propriedades de agendamento:

• Configure as propriedades básicas de agendamento. Para mais informações, consulte Configure propriedades básicas.

• Configure o ciclo de agendamento, as propriedades de nova execução e as dependências. Para mais informações, consulte Configure propriedades de tempo e Configure dependências de agendamento do mesmo ciclo.

  Nota

  Configure as propriedades de Rerun attribute e especifique os Parent Nodes antes de fazer o commit do nó.

• Configure as propriedades de recursos. Para mais informações, consulte Configure propriedades de recursos. Se a tarefa precisar acessar a internet pública ou uma VPC, selecione um grupo de recursos de agendamento com a conectividade de rede necessária. Para mais informações, consulte Network connectivity solutions.

Etapa 4: Depurar o código

1. (Opcional) Selecione um grupo de recursos de execução e atribua valores aos parâmetros personalizados.

   • Na barra de ferramentas, clique em . Na caixa de diálogo Parameter, selecione o grupo de recursos a ser usado na depuração.

   • Se o código da tarefa usar parâmetros de agendamento, atribua os valores deles aqui para depuração. Para mais informações sobre a lógica de atribuição de valores, consulte What is the difference in value assignment logic between Execute, Advanced Execute, and development-environment smoke testing?.

2. Salve e execute as instruções SQL.

   Na barra de ferramentas, clique em e salve as instruções SQL e, em seguida, clique em e execute a tarefa.

3. (Opcional) Execute testes de fumaça no ambiente de desenvolvimento durante o processo de commit ou após o commit do nó. Para mais informações, consulte Perform smoke testing.

Próximas etapas

1. Faça o commit e implante a tarefa.

   1. Na barra de ferramentas, clique em e salve o nó.

   2. Na barra de ferramentas, clique em para fazer o commit da tarefa.

   3. Na caixa de diálogo Commit Node, insira uma Change Description.

   4. Clique em Determine.

   Em um workspace no modo padrão, implante a tarefa no ambiente de produção após fazer o commit. Na barra de menu superior, clique em Deploy. Para mais informações, consulte Deploy tasks.

2. Visualize as tarefas agendadas.

   1. No canto superior direito do editor, clique em O&M Personnel para abrir o Operation Center do ambiente de produção.

   2. Visualize as tarefas agendadas que estão em execução. Para mais informações, consulte Gerencie tarefas agendadas.

   Visualize mais detalhes sobre as tarefas agendadas, clique em Operation Center na barra de menu superior. Para mais informações, consulte Operation Center overview.