DataWorks:CDH MR node

Prerequisites

• Você criou um cluster CDH da Alibaba Cloud e o associou a um workspace do DataWorks. Para obter mais informações, consulte Associate a CDH compute engine.

• (Opcional, para usuários RAM) O usuário RAM responsável pelo desenvolvimento de tarefas foi adicionado ao workspace correspondente e recebeu a função Development ou Workspace Administrator. A função Workspace Administrator concede permissões amplas — atribua-a com cautela. Para obter mais informações sobre como adicionar membros, consulte Add members to a workspace.

  Nota

  Se você utiliza uma conta da Alibaba Cloud, ignore esta etapa.

• Você configurou uma fonte de dados Hive no DataWorks e confirmou que ela passou no teste de conectividade. Para obter mais informações, consulte Gerencie data sources.

Criar um recurso CDH JAR

Faça o upload do pacote JAR da sua tarefa para o DataWorks e agende-o para execução periódica como uma tarefa CDH Spark.

1. Para obter mais informações, consulte Resource Management Configuration. Faça o upload do pacote JAR da sua máquina local para o diretório de armazenamento de recursos JAR. Clique em Upload para enviar o recurso JAR.

2. Selecione o caminho de armazenamento, a source de dados e o grupo de recursos.

3. Clique em Save.

Desenvolver o nó

Na página do editor do nó CDH MR, siga as etapas abaixo.

1. Abra o nó CDH MR criado e permaneça na página de edição de código.

2. No painel de navegação à esquerda, localize o recurso que deseja referenciar em Resource Management, clique com o botão direito nele e selecione Reference Resource.

3. Após referenciar o recurso, verifique se uma instrução no formato ##@resource_reference{""} aparece na página de edição de código do nó CDH — isso confirma que o recurso foi referenciado com sucesso. Execute o comando a seguir para iniciar a tarefa. O pacote de recursos, o nome do bucket e as informações de caminho no comando são exemplos — substitua-os pelas suas informações reais.

##@resource_reference{"onaliyun_mr_wordcount-1.0-SNAPSHOT.jar"}
onaliyun_mr_wordcount-1.0-SNAPSHOT.jar cn.apache.hadoop.onaliyun.examples.EmrWordCount oss://onaliyun-bucket-2/cdh/datas/wordcount02/inputs oss://onaliyun-bucket-2/cdh/datas/wordcount02/outputs

Depurar o nó

1. Na seção Compute Resource de Run Configuration, configure o recurso de computação e o grupo de recursos.

   1. Em Compute Resource, selecione o cluster CDH registrado no DataWorks.

   2. Em Resource Group, selecione o grupo de recursos de agendamento que passou no teste de conectividade com a source de dados. Para obter mais informações, consulte Network connectivity solutions.

2. Na barra de ferramentas na parte superior do editor de nós, clique em Run.

Next steps

• Configure node scheduling: Para executar um nó periodicamente, configure a Scheduling Policy no painel Scheduling Settings à direita.

• Publish a node: Para executar uma tarefa no ambiente de produção, clique em no ícone para publicar o nó. Um nó só é executado conforme o agendamento após ser publicado no ambiente de produção.

• Task O&M: Após publicar uma tarefa, monitore suas execuções periódicas no Operation Center. Para obter mais informações, consulte Get started with Operation Center.