DataWorks:Nó CDH Hive

Pré-requisitos

• Você criou um cluster CDH da Alibaba Cloud e o associou a um workspace do DataWorks. Para mais informações, consulte Associar um mecanismo de computação CDH.

  Importante

  Instale o componente Hive no cluster CDH e configure as informações de conexão do Hive ao associar o cluster.

• (Opcional, para usuários RAM) Adicione o usuário RAM responsável pelo desenvolvimento de tarefas ao workspace correspondente e conceda a função Development ou Workspace Administrator. A função Workspace Administrator possui permissões amplas; portanto, conceda-a com cautela. Para mais detalhes sobre como adicionar membros, consulte Adicionar membros a um workspace.

  Nota

  Caso utilize uma conta Alibaba Cloud, pule esta etapa.

• Configure uma fonte de dados Hive no DataWorks e verifique se ela foi aprovada no teste de conectividade. Para mais informações, consulte Gerenciar fontes de dados.

Limitação

Esse tipo de tarefa pode ser executado em grupos de recursos serverless (recomendado) ou em grupos de recursos exclusivos legados para agendamento.

Criar um nó

Para obter instruções, consulte Criar um nó.

Desenvolver o nó

Escreva o código da tarefa no editor SQL. Defina variáveis no código usando o formato ${variable_name}. Em seguida, no lado direito da página de edição do nó, atribua um valor à variável na seção Scheduling Parameters do painel Scheduling Settings. Isso permite passar parâmetros dinamicamente para o código durante o agendamento. Para mais informações sobre parâmetros de agendamento, consulte Fontes e expressões de parâmetros de agendamento. O código a seguir fornece um exemplo.

SHOW TABLES; SELECT * FROM userinfo ; -- This can be used with scheduling parameters. SELECT '${var}';

Depurar o nó

1. Na aba Run Configuration, dentro da seção Compute Resource, configure os campos Compute Resource e Resource Group.

   1. Em Compute Resource, selecione o cluster CDH registrado no DataWorks.

   2. Em Resource Group, escolha um grupo de recursos de agendamento aprovado no teste de conectividade com a fonte de dados. Para mais informações, consulte Soluções de conectividade de rede.

2. Na barra de ferramentas superior da página de edição do nó, clique em Run para executar a tarefa.

Próximas etapas

• Configurar o agendamento do nó: Caso precise executar um nó periodicamente, defina sua Scheduling Policy no painel Scheduling Settings à direita.

• Publicar um nó: Para executar uma tarefa no ambiente de produção, clique no ícone e publique o nó. O agendamento só entra em vigor após a publicação no ambiente de produção.

• O&M de tarefas: Após publicar a tarefa, monitore o status das execuções periódicas no Operation Center. Para mais informações, consulte Introdução ao Operation Center.