DataWorks:Nó CDH Impala

Pré-requisitos

• Crie um cluster CDH da Alibaba Cloud e associe-o a um workspace do DataWorks. Para mais detalhes, consulte Associate a CDH computing resource.

  Importante

  Certifique-se de que o componente Impala esteja instalado no seu cluster CDH e de que as informações de conexão do Impala estejam configuradas ao associar o cluster.

• (Opcional) Adicione o usuário RAM que desenvolverá as tarefas ao workspace correspondente. Conceda a ele a função de desenvolvedor ou administrador de workspace (concede permissões amplas; adicione com cautela). Para mais detalhes sobre como adicionar membros, consulte Add members to a workspace.

• Configure uma fonte de dados Hive no DataWorks e certifique-se de que ela passe no teste de conectividade. Para mais detalhes, consulte Data source configuration.

Criar um nó

Para mais instruções, consulte Create a node.

Desenvolver um nó

Escreva o código da sua tarefa no editor de SQL. Defina variáveis no formato ${variable_name}. Na aba Scheduling Settings, atribua valores a essas variáveis na seção Scheduling Parameters para passar parâmetros dinamicamente em tempo de execução. Para mais informações, consulte Sources and expressions of scheduling parameters. Exemplo:

SHOW TABLES;

SELECT * FROM userinfo ;
-- You can use scheduling parameters.
SELECT '${var}'; 

Depurar um nó

1. Na seção Compute Resource da Run Configuration, configure o Compute Resource e o Resource Group.

   1. Para o recurso de computação, selecione o nome do cluster CDH registrado no DataWorks.

   2. Selecione o grupo de recursos de agendamento que passou no teste de conectividade com a fonte de dados. Para mais informações, consulte Network Connectivity Solutions.

2. Na barra de ferramentas superior do editor de nó, clique em Run.

Próximas etapas

• Configure node scheduling: Se precisar executar um nó periodicamente, configure a Scheduling Policy dele no painel Scheduling Settings à direita.

• Publish a node: Para executar uma tarefa no ambiente de produção, clique no ícone para publicar o nó. Um nó só é executado conforme o agendamento após ser publicado no ambiente de produção.

• Operações e Manutenção de tarefas: Após publicar uma tarefa, monitore as execuções periódicas dela no Operation Center. Para mais informações, consulte Get started with Operation Center.