No DataWorks, um nó Presto do CDH (Cloudera's Distribution Including Apache Hadoop) oferece um mecanismo de consulta SQL distribuído para análise de dados em tempo real. Isso aprimora as capacidades de análise no ambiente CDH.
Pré-requisitos
-
crie um workflow no DataStudio.
No DataStudio, as tarefas de desenvolvimento são organizadas em workflows. crie um workflow antes de criar um nó. Para mais informações, consulte crie um workflow.
-
crie e registre um cluster CDH no seu workspace do DataWorks.
Registre seu cluster CDH em um workspace do DataWorks antes de criar nós e tarefas CDH. Para mais informações, consulte Bind a CDH compute resource in the old version of DataStudio.
(Opcional) Se estiver usando um usuário RAM, adicione-o ao workspace e atribua a ele a função Development ou Workspace Administrator. A função Workspace Administrator possui permissões amplas, portanto, atribua-a com cautela. Para mais informações sobre como adicionar membros, consulte Add members to a workspace.
Compre e configure um grupo de recursos serverless. Essa configuração envolve vincular o grupo de recursos ao seu workspace e configure a rede. Para mais informações, consulte Use a serverless resource group.
Limitações
execute tarefas CDH Hive em um grupo de recursos serverless ou em um grupo de recursos exclusivo de versão antiga para agendamento. Recomendamos o uso de um grupo de recursos serverless.
Etapa 1: crie um nó CDH Presto
-
Acesse o console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. selecione um workspace na lista suspensa e clique em Go to Data Development.
-
clique com o botão direito em um workflow e escolha .
NotaComo alternativa, passe o mouse sobre o botão New na parte superior e siga as instruções na tela para criar um nó CDH.
Na caixa de diálogo Create Node, insira um Name para o nó e clique em OK. Em seguida, desenvolva e configure a tarefa no novo nó.
Etapa 2: Desenvolver uma tarefa Presto
clique duas vezes no nome do nó para abrir sua guia de configuração e execute as operações a seguir para desenvolver uma tarefa.
(Opcional) selecione uma instância do mecanismo de computação CDH
Se houver vários clusters CDH registrados no seu workspace, selecione o cluster apropriado na parte superior da página. Se apenas um cluster CDH estiver vinculado, não é necessário selecionar nenhum cluster. Na lista suspensa instância do mecanismo CDH, selecione a instância do cluster de destino, como ambiente de produção e teste CDH. Para acessar um endpoint restrito por uma lista de permissões, use um grupo de recursos de pagamento conforme o uso para o agendamento.
Exemplo simples de desenvolvimento de código SQL
insira o código SQL no editor. Exemplo:
show tables;
select * from userinfo ;Desenvolver código SQL: Usar parâmetros de agendamento
O DataWorks disponibiliza o Scheduling Parameter para passar valores dinamicamente para o seu código. Defina variáveis usando o formato ${variable_name} e atribua valores em Scheduling Settings > Parameter. Para mais informações sobre os formatos suportados para parâmetros de agendamento, consulte Supported formats of scheduling parameters.
select '${var}'; -- You can assign a specific scheduling parameter to the var variable.Etapa 3: configure o agendamento da tarefa
Se precisar executar a tarefa em um agendamento recorrente, clique em Scheduling no painel à direita para configure suas propriedades de agendamento:
configure as propriedades básicas de agendamento. Para mais informações, consulte Configure basic properties.
-
configure o ciclo de agendamento, as propriedades de reexecução e as dependências. Para mais informações, consulte Configure time properties e Configure same-cycle scheduling dependencies.
Notaconfigure as propriedades de Rerun attribute e especifique os Parent Nodes antes de fazer o commit do nó.
configure as propriedades de recursos. Para mais informações, consulte Configure resource properties. Se a tarefa precisar acessar a internet pública ou uma VPC, selecione um grupo de recursos de agendamento com a conectividade de rede necessária. Para mais informações, consulte Network connectivity solutions.
Etapa 4: Depurar o código
-
(Opcional) selecione um grupo de recursos de tempo de execução e atribua valores aos parâmetros personalizados.
Na barra de ferramentas, clique no ícone
. Na caixa de diálogo Parameter, selecione o grupo de recursos a ser usado para depuração.Se o código da tarefa usar parâmetros de agendamento, atribua seus valores aqui para depuração. Para mais informações sobre a lógica de atribuição de valores, consulte What is the difference in value assignment logic between execute, Advanced Run, and development-environment smoke testing?.
-
salve e execute as instruções SQL.
Na barra de ferramentas, clique no ícone
para salve as instruções SQL e, em seguida, clique no ícone 
para executar a tarefa. -
(Opcional) execute testes de fumaça.
Para executar testes de fumaça no ambiente de desenvolvimento, execute-os durante o processo de commit ou após o commit do nó. Para mais informações, consulte Perform smoke testing.
Próximos passos
-
Faça o commit e implante a tarefa.
Na barra de ferramentas, clique no ícone
para salve o nó.Na barra de ferramentas, clique no ícone
para fazer o commit da tarefa.Na caixa de diálogo Commit Node, insira uma Change Description.
Clique em Determine.
Em um workspace de modo padrão, implante a tarefa no ambiente de produção após fazer o commit. Na barra de menu superior, clique em Deploy. Para mais informações, consulte Deploy tasks.
-
visualize as tarefas agendadas.
No canto superior direito do editor, clique em O&M Personnel para abrir o Operation Center do ambiente de produção.
visualize as tarefas agendadas em execução. Para mais informações, consulte gerencie as tarefas agendadas.
Para visualizar mais detalhes sobre as tarefas agendadas, clique em Operation Center na barra de menu superior. Para mais informações, consulte Operation Center overview.