Como criar um nó CDH Impala - DataWorks: Central de Documentação do Alibaba Cloud

Os nós CDH Impala permitem escrever e executar scripts SQL do Impala no DataWorks, oferecendo desempenho de consulta superior ao do CDH Hive.

Pré-requisitos

Você já criou um cluster CDH e o registrou no DataWorks.

Antes de criar nós CDH e desenvolver tarefas CDH, registre seu cluster CDH em um workspace do DataWorks. Para mais informações, consulte Bind a CDH compute resource in the old version of DataStudio.

Limitações

É possível executar esse tipo de tarefa em um grupo de recursos serverless ou em um grupo de recursos exclusivo de versão anterior para agendamento. Recomendamos o uso de um grupo de recursos serverless.

Etapa 1: Criar um nó CDH Impala

Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
Clique com o botão direito em um workflow e escolha Create Node > CDH > CDH Impala.

Nota
Também é possível passar o mouse sobre o botão New na parte superior e seguir as instruções na tela para criar um nó CDH.
Na caixa de diálogo Create Node, insira um Name para o nó e clique em OK.

Etapa 2: Desenvolver uma tarefa Impala

Clique duas vezes no nó criado para abrir a página de desenvolvimento de tarefas.

(Opcional) Selecionar uma instância de mecanismo CDH

Se o seu workspace estiver registrado em vários clusters CDH, selecione o cluster apropriado na lista suspensa Engine Instance CDH na parte superior da página. Caso apenas um cluster esteja vinculado, nenhuma seleção é necessária. Para acessar um domínio que possua uma lista de permissões de endereços IP, utilize um grupo de recursos exclusivo para agendamento.

Exemplo simples

Insira o código da tarefa no editor SQL. Exemplo:

SHOW tables;
SELECT * FROM userinfo ;

Uso de parâmetros de agendamento

O DataWorks oferece o recurso Scheduling Parameter para passar valores dinamicamente ao seu código durante execuções agendadas. Defina variáveis no código usando o formato ${Variable name} e atribua os valores em Scheduling Settings > Parameter. Para informações sobre os formatos suportados, consulte Supported formats of scheduling parameters.

SELECT '${var}'; -- Use with scheduling parameters.

Etapa 3: Configurar o agendamento da tarefa

Caso precise executar a tarefa em uma programação recorrente, clique em Scheduling no painel à direita para definir as propriedades de agendamento:

Defina as propriedades básicas de agendamento. Para mais informações, consulte Configure basic properties.
Configure o ciclo de agendamento, as propriedades de reexecução e as dependências. Para mais detalhes, veja Configure time properties e Configure same-cycle scheduling dependencies.

Nota
É obrigatório configurar as propriedades de Rerun attribute e especificar os Parent Nodes antes de submeter o nó.
Ajuste as propriedades de recursos. Para mais informações, consulte Configure resource properties. Se a tarefa precisar acessar a internet pública ou uma VPC, selecione um grupo de recursos de agendamento com a conectividade de rede necessária. Para mais detalhes, veja Network connectivity solutions.

Etapa 4: Depurar o código

(Opcional) Selecione um grupo de recursos de execução e atribua valores aos parâmetros personalizados.
- Na barra de ferramentas, clique no ícone . Na caixa de diálogo Parameter, selecione o grupo de recursos a ser usado na depuração.
- Se o código da tarefa utilizar parâmetros de agendamento, atribua os valores correspondentes aqui para fins de depuração. Para mais informações sobre a lógica de atribuição de valores, consulte What is the difference in value assignment logic between Run, Advanced Run, and development-environment smoke testing?.
Salve e execute as instruções SQL.

Na barra de ferramentas, clique no ícone para salvar as instruções SQL e, em seguida, clique no ícone para executar a tarefa.
(Opcional) Realize testes de fumaça (smoke testing).

Para executar testes de fumaça no ambiente de desenvolvimento, faça-o durante o processo de submissão ou após submeter o nó. Para mais informações, consulte Perform smoke testing.

Próximas etapas

Submeta e implante a tarefa.
1. Na barra de ferramentas, clique no ícone para salvar o nó.
2. Na barra de ferramentas, clique no ícone para submeter a tarefa.
3. Na caixa de diálogo Commit Node, insira uma Change Description.
4. Clique em Determine.
Em um workspace no modo padrão, é necessário implantar a tarefa no ambiente de produção após a submissão. Na barra de menu superior, clique em Deploy. Para mais informações, consulte Deploy tasks.
Visualize as tarefas agendadas.
1. No canto superior direito do editor, clique em O&M Personnel para abrir o Operation Center do ambiente de produção.
2. Visualize as tarefas agendadas em execução. Para mais informações, consulte Manage scheduled tasks.
Para visualizar mais detalhes sobre as tarefas agendadas, clique em Operation Center na barra de menu superior. Para mais informações, consulte Operation Center overview.