Como criar um nó CDH Hive - DataWorks: Central de Documentação do Alibaba Cloud

Se você implantou um cluster CDH, use um nó CDH Hive no DataWorks para executar tarefas do Hive, como consultas de dados ou processamento em lote.

Pré-requisitos

Crie um workflow no DataStudio.

No DataStudio, as tarefas de desenvolvimento são organizadas em workflows. Crie um workflow antes de criar um nó. Para mais informações, consulte Create a workflow.
Crie e registre um cluster CDH no workspace do DataWorks.

Registre o cluster CDH em um workspace do DataWorks antes de criar nós e tarefas CDH. Para mais informações, consulte Bind a CDH compute resource in the old version of DataStudio.
(Opcional) Se usar um usuário RAM, adicione-o ao workspace e atribua a função Development ou Workspace Administrator. A função Workspace Administrator tem permissões amplas; atribua-a com cautela. Para mais informações sobre como adicionar membros, consulte Add members to a workspace.
Adquira e configure um grupo de recursos serverless. A configuração inclui vincular o grupo de recursos ao workspace e definir a rede. Para mais informações, consulte Use a serverless resource group.

Limitações

Tarefas CDH Hive podem ser executadas em um grupo de recursos serverless ou em um grupo de recursos exclusivo de versão antiga para agendamento. Recomendamos o uso de um grupo de recursos serverless.

Etapa 1: Criar um nó CDH Hive

Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
Clique com o botão direito em um workflow e escolha Create Node > cdh > CDH Hive.

Nota
Como alternativa, passe o mouse sobre o botão New na parte superior e siga as instruções para criar um nó CDH.
Na caixa de diálogo Create Node, insira um Name para o nó e clique em OK.

Etapa 2: Desenvolver uma tarefa Hive

Clique duas vezes no nó criado para abrir a página de desenvolvimento de tarefas.

(Opcional) Selecionar uma instância de cluster CDH

Se o workspace tiver vários clusters CDH registrados, selecione o apropriado na parte superior da página. Ignore esta etapa se houver apenas um cluster vinculado. Para acessar domínios protegidos por uma lista de permissões, use um grupo de recursos exclusivo para agendamento.

Desenvolver código SQL: Exemplo simples

Insira o código SQL no editor. Por exemplo:

SHOW tables;
SELECT * FROM userinfo ;

Desenvolver código SQL: Usar parâmetros de agendamento

Use Scheduling Parameter para passar valores dinamicamente ao código durante a execução. Defina variáveis no código usando o formato ${variable_name} e atribua valores a elas em Scheduling > Parameter. Para mais informações sobre os formatos suportados, consulte Supported formats for scheduling parameters.

SELECT '${var}'; -- This is an example of using a scheduling parameter.

Etapa 3: Configurar o agendamento da tarefa

Para executar a tarefa em uma programação recorrente, clique em Scheduling no painel à direita e configure as propriedades de agendamento:

Configure as propriedades básicas de agendamento. Para mais informações, consulte Configure basic properties.
Defina o ciclo de agendamento, as propriedades de reexecução e as dependências. Para mais informações, consulte Configure time properties e Configure same-cycle scheduling dependencies.

Nota
Configure as propriedades de Rerun attribute e especifique os Parent Nodes antes de submeter o nó.
Ajuste as propriedades de recursos. Para mais informações, consulte Configure resource properties. Se a tarefa precisar acessar a internet pública ou uma VPC, selecione um grupo de recursos de agendamento com a conectividade de rede necessária. Para mais informações, consulte Network connectivity solutions.

Etapa 4: Depurar o código

(Opcional) Selecione um grupo de recursos de execução e atribua valores aos parâmetros personalizados.
- Na barra de ferramentas, clique no ícone . Na caixa de diálogo Parameter, selecione o grupo de recursos para depuração.
- Se o código da tarefa usar parâmetros de agendamento, atribua os valores correspondentes aqui para depuração. Para mais informações sobre a lógica de atribuição de valores, consulte What is the difference in value assignment logic between Run, Advanced Run, and development-environment smoke testing?.
Salve e execute as instruções SQL.

Na barra de ferramentas, clique no ícone para salvar as instruções SQL e, em seguida, clique no ícone para executar a tarefa.
(Opcional) Execute testes de fumaça (smoke testing).

Para executar testes de fumaça no ambiente de desenvolvimento, faça-o durante o processo de submissão ou após submeter o nó. Para mais informações, consulte Perform smoke testing.

Próximas etapas

Submeta e implante a tarefa.
1. Na barra de ferramentas, clique no ícone para salvar o nó.
2. Na barra de ferramentas, clique no ícone para submeter a tarefa.
3. Na caixa de diálogo Commit Node, insira uma Change Description.
4. Clique em Determine.
Em um workspace no modo padrão, implante a tarefa no ambiente de produção após submetê-la. Na barra de menu superior, clique em Deploy. Para mais informações, consulte Deploy tasks.
Visualize as tarefas agendadas.
1. No canto superior direito do editor, clique em O&M Personnel para abrir o Operation Center do ambiente de produção.
2. Visualize as tarefas agendadas em execução. Para mais informações, consulte Manage scheduled tasks.
Para visualizar mais detalhes sobre as tarefas agendadas, clique em Operation Center na barra de menu superior. Para mais informações, consulte Operation Center overview.