Criar um nó CDH Spark SQL - DataWorks: Central de Documentação do Alibaba Cloud

Os nós CDH Spark SQL usam um mecanismo de consulta SQL distribuído para processar dados estruturados, aumentando a eficiência da execução de jobs. No DataWorks, você pode desenvolver, agendar periodicamente e integrar tarefas CDH Spark SQL a outros tipos de tarefa.

Pré-requisitos

Crie um workflow no DataStudio.

No DataStudio, as tarefas de desenvolvimento são organizadas em workflows. Crie um workflow antes de criar um nó. Para mais informações, consulte Create a workflow.
Crie um cluster CDH e registre-o no workspace do DataWorks.

Registre o cluster CDH em um workspace do DataWorks antes de criar nós e tarefas CDH. Para mais informações, consulte Bind a CDH compute resource in the old version of DataStudio.
Adquira e configure um grupo de recursos serverless. A configuração inclui a associação a um workspace e as definições de rede. Para mais informações, consulte Create and use a serverless resource group.

Limites

As tarefas CDH Spark SQL podem ser executadas em grupos de recursos serverless ou em grupos de recursos exclusivos legados. Recomendamos os grupos de recursos serverless.

Etapa 1: Criar um nó CDH Spark SQL

Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
Clique com o botão direito no workflow desejado e selecione Create Node > CDH > CDH Spark SQL.
Na caixa de diálogo Create Node, insira um Name para o nó e clique em OK. O editor de nós será aberto para desenvolvimento e configuração da tarefa.

Etapa 2: Desenvolver uma tarefa CDH Spark SQL

(Opcional) Selecionar um cluster CDH

Se houver vários clusters Cloudera's Distribution including Apache Hadoop (CDH) registrados no workspace atual, selecione um cluster na lista suspensa Engine Instance CDH. Caso apenas um cluster CDH esteja registrado, o sistema o usará automaticamente para desenvolvimento.

Na lista suspensa CDH engine instance, selecione o cluster de destino. Para acessar um domínio com lista de permissões de IP, use um grupo de recursos exclusivo para agendamento.

Desenvolver código SQL

Desenvolver código SQL: Exemplo simples

Escreva o código da tarefa no editor de código, na aba de configuração do nó CDH Spark SQL.

O exemplo a seguir cria as tabelas test_lineage_table_f1 e test_lineage_table_t2 no banco de dados test_spark e copia dados de test_lineage_table_f1 para test_lineage_table_t2. Código de exemplo:

Nota

Este exemplo serve apenas como referência. Escreva o código conforme os requisitos do seu negócio.

CREATE TABLE IF NOT EXISTS test_spark.test_lineage_table_f1 (`id` BIGINT, `name` STRING)
PARTITIONED BY (`ds` STRING);
CREATE TABLE IF NOT EXISTS test_spark.test_lineage_table_t2 AS SELECT * FROM test_spark.test_lineage_table_f1;
INSERT into test_spark.test_lineage_table_t2 SELECT * FROM test_spark.test_lineage_table_f1;

Desenvolver código SQL: Usar parâmetros de agendamento

O DataWorks oferece o recurso Scheduling Parameter, que permite passar valores dinamicamente para variáveis no código de tarefas agendadas. Defina variáveis no código da tarefa usando o formato ${variable_name}. No painel de navegação à direita da página do editor de nós, acesse Scheduling Settings > Scheduling Parameter para atribuir um valor à variável. Para mais informações sobre formatos suportados e configuração, consulte Supported formats of scheduling parameters e Configure and use scheduling parameters.

Código de exemplo:

SELECT '${var}'; -- You can assign a specific scheduling parameter to the var variable.

(Opcional) Configurar parâmetros avançados

Na página do editor de nós CDH Spark SQL, clique em Advanced Settings no painel de navegação à direita para definir os parâmetros de tempo de execução da tarefa. Exemplos:

"spark.driver.memory": "2g": define a memória alocada ao nó driver do Spark.
"spark.yarn.queue": "haha": especifica a fila YARN para envio da aplicação.

Para mais detalhes sobre parâmetros avançados, consulte Spark Configuration.

Etapa 3: Configurar o agendamento da tarefa

Para executar a tarefa do nó periodicamente, clique em Scheduling no lado direito da página de edição do nó e defina as configurações de agendamento conforme necessário. Para mais informações, consulte Overview of task scheduling properties.

Nota

Configure o Rerun attribute e os Parent Nodes do nó antes de enviá-lo.

Etapa 4: Testar o código da tarefa

Execute as operações de teste abaixo conforme necessário para verificar se a tarefa se comporta conforme o esperado.

(Opcional) Selecione um grupo de recursos e atribua valores personalizados aos parâmetros.
- Clique no ícone na barra de ferramentas. Na caixa de diálogo Parameter, selecione o grupo de recursos de agendamento para teste.
- Se o código da tarefa usar variáveis de parâmetro de agendamento, atribua valores a elas aqui para teste. Para mais informações sobre a lógica de atribuição de parâmetros, consulte Task debugging process.
Salve e execute o código da tarefa.

Clique no ícone na barra de ferramentas para salvar o código da tarefa. Em seguida, clique no ícone para executar a tarefa.
(Opcional) Execute testes de fumaça (smoke testing).

Para validar se a tarefa agendada é executada conforme o esperado no ambiente de desenvolvimento, realize testes de fumaça durante ou após o envio do nó. Para mais informações, consulte Perform smoke testing.

Etapa 5: Enviar e publicar a tarefa

Após configurar a tarefa do nó, envie-a e publique-a. Depois de publicada, a tarefa será executada periodicamente com base na configuração de agendamento definida.

Clique no ícone na barra de ferramentas para salvar o nó.
Clique no ícone na barra de ferramentas para enviar a tarefa do nó.

Na caixa de diálogo Submission, insira uma Change Description. Opcionalmente, escolha se deseja exigir revisão de código após o envio.
Nota
- É obrigatório configurar o Rerun attribute e os Parent Nodes do nó antes de enviá-lo.
- A revisão de código ajuda a garantir a qualidade e evita erros causados pela publicação direta de código não revisado em produção. Quando a revisão de código está ativada, os revisores devem aprovar o código do nó enviado antes da publicação. Para mais informações, consulte Code review.

Se estiver usando um workspace no modo padrão, após enviar a tarefa com sucesso, clique em Publish no canto superior direito da página de edição do nó para implantar a tarefa no ambiente de produção. Para mais informações, consulte Publish a task.

Próximos passos

O&M de tarefas: Após o envio e a publicação, a tarefa é executada periodicamente conforme a configuração do nó. Clique em O&M no canto superior direito da página de edição do nó para acessar o Operation Center e visualizar o status de agendamento e execução. Para mais informações, consulte Manage periodic tasks.
Visualizar linhagens: Após confirmar e implantar a tarefa, visualize suas linhagens de dados na página Data Map. Por exemplo, rastreie a origem dos dados ou identifique os bancos de dados de destino do fluxo da tabela. Para mais informações, consulte View lineages.