Execute periodic ClickHouse SQL tasks with DataWorks - DataWorks: Central de Documentação do Alibaba Cloud

Os nós ClickHouse SQL no DataWorks permitem desenvolver, agendar periodicamente e integrar tarefas ClickHouse SQL a outros jobs. Esse recurso aproveita um mecanismo SQL distribuído para processar dados estruturados com eficiência.

Pré-requisitos

Um workflow foi criado.

O DataStudio organiza o desenvolvimento por workflow. Crie um workflow antes de criar um nó. Para mais informações, consulte Crie um workflow.
Um cluster EMR ClickHouse ou um cluster ClickHouse autogerenciado foi criado e as preparações necessárias foram concluídas.

Conclua as preparações do EMR e do DataWorks conforme o tipo de mecanismo utilizado.
- DataLake: Para mais informações, consulte Configure um cluster EMR DataLake e Configure o DataWorks.
- Hadoop: Preparations for Hadoop cluster development.

Você possui bound a ClickHouse computing resource ao workspace.

Adicione seu banco de dados ClickHouse ao DataWorks como um recurso de computação ClickHouse e vincule-o ao DataStudio para acessar os dados do ClickHouse durante o desenvolvimento.
Um grupo de recursos serverless foi adquirido e vinculado à VPC onde o cluster ClickHouse está localizado. Para mais informações, consulte Use a serverless resource group.

Nota
É possível utilizar um grupo de recursos serverless (recomendado) ou um grupo de recursos exclusivo para agendamento na execução de tarefas de nó ClickHouse SQL.

Etapa 1: Criar um nó ClickHouse SQL

Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
Clique com o botão direito no workflow desejado e escolha Create Node > CLICKHOUSE > ClickHouse SQL.
Na caixa de diálogo Create Node, insira um Name para o nó e clique em OK. Após a criação do nó, desenvolva e configure a tarefa no editor de nós.

Etapa 2: Desenvolver uma tarefa ClickHouse SQL

(Opcional) Selecionar um recurso de computação ClickHouse

Caso existam múltiplos recursos de computação ClickHouse adicionados ao seu workspace, selecione o recurso desejado na página do editor do nó ClickHouse SQL. Se apenas um recurso de computação ClickHouse estiver adicionado, ele será usado por padrão.

Desenvolver código SQL

Escreva as instruções ClickHouse SQL no editor de código. O código a seguir fornece um exemplo.

CREATE DATABASE if not EXISTS ck_test;
CREATE TABLE if not EXISTS  ck_test.first_table  (
`product_code` String,
`package_name` String
) ENGINE = MergeTree ORDER BY package_name SETTINGS index_granularity = 8192;
INSERT INTO ck_test.first_table (product_code, package_name) VALUES ('1', '1');
SELECT * FROM ck_test.first_table;

Etapa 3: Configure o agendamento

Para executar a tarefa periodicamente, clique em Scheduling no lado direito da página do editor de nós e configure suas propriedades de agendamento. Para mais informações, consulte Overview of task scheduling property configuration.

Nota

É obrigatório definir a propriedade Rerun attribute e especifique os Parent Nodes antes de submeter o nó.

Etapa 4: Depurar a tarefa

Depure seu código para verifique se ele funciona conforme o esperado.

(Opcional) Selecione um grupo de recursos de tempo de execução e atribua valores aos parâmetros personalizados.
- Clique em no ícone na barra de ferramentas. Na caixa de diálogo Parameter, selecione o grupo de recursos de agendamento que deseja usar para depuração.
- Se o código da sua tarefa utilizar variáveis de parâmetro de agendamento, atribua valores a essas variáveis para depuração. Para mais detalhes sobre a lógica de atribuição de parâmetros, consulte Debug tasks.
Salve e execute as instruções SQL.

Clique em no ícone na barra de ferramentas para salve as instruções SQL escritas. Em seguida, clique em no ícone para execute a tarefa SQL.
(Opcional) Realize testes de fumaça.

Para validar que a tarefa agendada executa corretamente no ambiente de desenvolvimento, realize testes de fumaça ao submeter o nó ou após a submissão. Para mais informações, consulte Perform smoke testing.

Etapa 5: Submeter e implantar

Submeta e implante o nó para que a tarefa seja executada periodicamente conforme sua configuração de agendamento.

Clique em no ícone na barra de ferramentas para salve o nó.
Clique em no ícone na barra de ferramentas para submeter a tarefa do nó.

Na caixa de diálogo Submission, insira uma Change Description e escolha se deseja realizar uma revisão de código após a submissão do nó.
Nota
- É obrigatório defina a propriedade Rerun attribute e especifique os Parent Nodes antes de submeter o nó.
- A revisão de código ajuda a garantir a qualidade do código e a prevenir erros no ambiente de produção. Caso ative o recurso de revisão de código, o código submetido só poderá ser implantado após aprovação na revisão. Para mais informações, consulte Code review.

Se estiver usando um workspace no modo padrão, clique em Deploy no canto superior direito da página do editor de nós para implantar a tarefa no ambiente de produção após a submissão. Para mais informações, consulte Deploy tasks.

Próximas etapas

Após a implantação, a tarefa é executada conforme o agendamento. Para visualize o status de agendamento, clique em O&M Personnel no canto superior direito da página do editor de nós. Para mais informações, consulte Gerencie periodic tasks.