DataWorks:ClickHouse SQL

Pré-requisitos

• Os tipos de mecanismo do EMR incluem DataLake e Hadoop. Cada tipo exige preparações diferentes antes da criação de um nó. Conforme o seu cenário, conclua as preparações necessárias no EMR e no DataWorks.

  • DataLake: Para mais informações, consulte Configure a DataLake cluster e Configure DataWorks.

  • Hadoop: Para mais informações, consulte Prepare a Hadoop cluster for development.

• Crie uma source de dados ClickHouse e vincule-a a um workspace.

  Para acessar dados do ClickHouse durante o desenvolvimento, crie uma source de dados ClickHouse no DataWorks e vincule-a ao Data Studio. Para mais informações, consulte Bind a ClickHouse compute resource.

• Crie um nó ClickHouse SQL. Para mais informações, consulte Create a scheduled workflow node.

Procedimento

1. Na página de edição do nó ClickHouse SQL, siga estas etapas:

   Desenvolver código SQL

   No editor SQL, escreva o código da tarefa. Defina variáveis com o formato ${variable_name}. Atribua valores a essas variáveis em Scheduling Parameters, no painel Scheduling Settings à direita, para habilitar a passagem dinâmica de parâmetros durante execuções agendadas. Para mais detalhes sobre parâmetros de agendamento, consulte Sources and expressions for scheduling parameters. Exemplo:

   CREATE DATABASE IF NOT EXISTS ck_test;
   CREATE TABLE IF NOT EXISTS  ck_test.first_table  (
   `product_code` String,
   `package_name` String
   ) ENGINE = MergeTree ORDER BY package_name SETTINGS index_granularity = 8192;
   INSERT INTO ck_test.first_table (product_code, package_name) VALUES ('1', ${var});
   SELECT * FROM ck_test.first_table;

   Nota

   Neste exemplo, defina o parâmetro ${var} como 1.

   Executar tarefa SQL

   1. No painel Run Configuration, configure o Compute Resource e o Resource Group.

      1. Em Computing Resource, selecione o nome do cluster CDH registrado no DataWorks.

      2. Em Resource Group, selecione um grupo de recursos de agendamento com conexão confirmada à source de dados. Para mais informações, consulte Network connectivity solutions.

   2. Na barra de ferramentas, clique em Select a data source. Na caixa de diálogo, selecione a source de dados ClickHouse criada e clique em Run para executar a tarefa SQL.

2. Para executar o nó periodicamente, configure as propriedades de agendamento conforme os requisitos do negócio. Para obter detalhes, consulte Node scheduling configuration.

3. Após configurar o nó, faça o deploy. Para mais informações, consulte Node and workflow deployment.

4. Após o deploy da tarefa, visualize o status de execução no Operation Center. Para mais informações, consulte Get started with Operation Center.