DataWorks:Nó CDH Hive

Pré-requisitos

• Você criou um cluster CDH na Alibaba Cloud e o associou a um workspace do DataWorks. Para mais informações, consulte Associate a CDH compute engine.

  Importante

  Instale o componente Hive no cluster CDH e configure as informações de conexão do Hive ao associar o cluster.

• (Opcional, para usuários RAM) O usuário RAM responsável pelo desenvolvimento de tarefas foi adicionado ao workspace correspondente com a função Development ou Workspace Administrator. A função Workspace Administrator possui permissões abrangentes; conceda-a com cautela. Para saber como adicionar membros, consulte Add members to a workspace.

  Nota

  Se você usa uma conta Alibaba Cloud, ignore esta etapa.

• Você configurou uma source de dados Hive no DataWorks e verificou que ela passou no teste de conectividade. Para mais informações, consulte gerencie data sources.

Limitação

Esse tipo de tarefa pode ser executado em serverless resource groups (recomendado) ou em grupos de recursos exclusivos legados para agendamento.

crie um nó

Para instruções, consulte crie a node.

Desenvolver o nó

Escreva o código da tarefa no editor SQL. Defina variáveis no código usando o formato ${variable_name}. Em seguida, no lado direito da página de edição do nó, atribua um valor à variável na seção Scheduling Parameters do painel Scheduling Settings. Isso permite passar parâmetros dinamicamente ao código durante o agendamento. Para mais informações sobre parâmetros de agendamento, consulte Sources and expressions of scheduling parameters. O código a seguir apresenta um exemplo.

SHOW TABLES; selecione * FROM userinfo ; -- This can be used with scheduling parameters. selecione '${var}';

Depurar o nó

1. Na aba Run Configuration, na seção Compute Resource, configure o Compute Resource e o Resource Group.

   1. Em Compute Resource, selecione o cluster CDH registrado no DataWorks.

   2. Em Resource Group, selecione um grupo de recursos de agendamento que tenha passado no teste de conectividade com a source de dados. Para mais informações, consulte Network connectivity solutions.

2. Na barra de ferramentas no topo da página de edição do nó, clique em Run para execute a tarefa.

Próximas etapas

• configure node scheduling: caso precise execute um nó periodicamente, configure a Scheduling Policy no painel Scheduling Settings à direita.

• Publish a node: para execute uma tarefa no ambiente de produção, clique em no ícone para publicar o nó. Um nó só é executado conforme o agendamento após a publicação no ambiente de produção.

• O&M de tarefas: após publicar uma tarefa, monitore as execuções periódicas no Operation Center. Para mais informações, consulte Get started with Operation Center.