Os nós StarRocks do DataWorks permitem desenvolver e agendar periodicamente tarefas StarRocks, além de integrá-las a outros jobs. Este tópico descreve as principais etapas para desenvolver tarefas com nós StarRocks.
Informações básicas
O StarRocks é um banco de dados MPP (Massively Parallel Processing) de última geração, ultrarrápido e para cenários completos, além de ser um mecanismo de análise OLAP compatível com o protocolo MySQL. Ele oferece desempenho excepcional e suporta diversos cenários OLAP, como análise multidimensional, análise de data lake, consultas de alta concorrência e análise de dados em tempo real.
Pré-requisitos
-
Fluxo de negócios criado.
O Data Studio executa operações de desenvolvimento específicas do mecanismo com base em fluxos de negócios. Crie um fluxo de negócios antes de criar um nó. Para obter mais informações, consulte Criar um fluxo de negócios.
-
Fonte de dados StarRocks criada.
Registre seu banco de dados StarRocks como uma source de dados StarRocks no DataWorks. Para obter mais informações, consulte Criar uma source de dados StarRocks.
NotaOs nós StarRocks suportam apenas sources de dados StarRocks criadas com uma string de conexão JDBC (Java Database Connectivity).
(Opcional; obrigatório para usuários do Resource Access Management (RAM)) Usuário RAM utilizado para o desenvolvimento da tarefa adicionado ao workspace de destino e com a função Development ou Workspace Administrator atribuída (essa função concede permissões amplas — atribua com cautela). Para obter mais informações sobre como adicionar membros e conceder permissões, consulte Adicionar membros a um workspace.
Limites
Regiões suportadas: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapura, Malásia (Kuala Lumpur), Alemanha (Frankfurt), EUA (Silicon Valley) e EUA (Virginia).
Etapa 1: Criar um nó StarRocks
-
Faça login no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
Clique com o botão direito no fluxo de negócios de destino e escolha .
Na caixa de diálogo Create Node, insira um Name para o nó e clique em OK. O nó será criado. Desenvolva e configure sua tarefa no nó.
Etapa 2: Desenvolver uma tarefa StarRocks
(Opcional) Selecionar uma source de dados StarRocks
Se o workspace tiver várias sources de dados StarRocks, selecione a source de dados de destino na lista suspensa na parte superior da página de edição do nó StarRocks. Caso exista apenas uma source de dados StarRocks, ela será usada por padrão.
Os nós StarRocks suportam apenas sources de dados StarRocks criadas com uma string de conexão JDBC (Java Database Connectivity).
Desenvolver código SQL: Exemplo simples
Escreva a tarefa StarRocks no editor de código do nó StarRocks. O exemplo a seguir consulta informações sobre todas as tabelas base no banco de dados StarRocks:
SELECT * FROM information_schema.tables
WHERE table_type = 'BASE TABLE';Desenvolver código SQL: Alternar catálogo e banco de dados
SET CATALOG catalog_name; -- Switch the catalog effective for the current session.
USE catalog_name.db_name; -- Specify the database effective for the current session.Se o nome de um catálogo ou banco de dados for uma palavra-chave, envolva-o em crases (``) para evitar erros de análise.
Desenvolver código SQL: Usar parâmetros de agendamento
O recurso Scheduling Parameter do DataWorks permite entrada dinâmica em agendamentos recorrentes. Defina variáveis no código da tarefa do nó usando o formato ${variable_name}. Em seguida, na seção Scheduling > Scheduling Parameter do painel de navegação à direita, atribua valores a essas variáveis. Para formatos suportados e detalhes de configuração, consulte Formatos de parâmetro de agendamento suportados e Configurar e usar parâmetros de agendamento.
No exemplo a seguir, o parâmetro de agendamento a está definido como $[yyyymmdd] (data atual). O código consulta tabelas criadas no dia atual:
SELECT * FROM information_schema.tables
WHERE CREAT_TIME = '${a}';Etapa 3: Configurar o agendamento da tarefa
Para executar a tarefa do nó periodicamente, clique em Scheduling no lado direito da página de edição do nó e configure as definições de agendamento conforme necessário. Para obter mais informações, consulte Visão geral das propriedades de agendamento de tarefas.
Configure o Rerun attribute e os Parent Nodes do nó antes de enviá-lo.
Etapa 4: Testar o código da tarefa
Realize as seguintes operações de teste conforme necessário para verificar se a tarefa se comporta conforme o esperado.
-
(Opcional) Selecione um grupo de recursos e atribua valores personalizados aos parâmetros.
Clique no ícone
na barra de ferramentas. Na caixa de diálogo Parameter, selecione o grupo de recursos de agendamento para teste.Se o código da tarefa usar variáveis de parâmetro de agendamento, atribua valores a elas aqui para teste. Para obter mais informações sobre a lógica de atribuição de parâmetros, consulte Processo de depuração de tarefas.
-
Salve e execute o código da tarefa.
Clique no ícone
na barra de ferramentas para salvar o código da tarefa. Em seguida, clique no ícone 
para executar a tarefa. -
(Opcional) Realize testes de fumaça.
Para validar a execução da tarefa agendada no ambiente de desenvolvimento, realize testes de fumaça durante ou após o envio do nó. Para obter mais informações, consulte Realizar testes de fumaça.
Etapa 5: Enviar e publicar a tarefa
Após configurar a tarefa do nó, envie-a e publique-a. Depois de publicada, o nó é executado periodicamente com base em sua configuração de agendamento.
Clique no ícone
na barra de ferramentas para salvar o nó.-
Clique no ícone
na barra de ferramentas para enviar a tarefa do nó.Na caixa de diálogo Submission, insira uma Change Description. Opcionalmente, escolha se deseja exigir revisão de código após o envio.
NotaConfigure o Rerun attribute e os Parent Nodes do nó antes de enviá-lo.
A revisão de código ajuda a garantir a qualidade e evita erros causados pela publicação direta de código não revisado em produção. Se a revisão de código estiver ativada, os revisores devem aprovar o código do nó enviado antes da publicação. Para obter mais informações, consulte Revisão de código.
Se você estiver usando um workspace no modo padrão, após enviar a tarefa com sucesso, clique em Publish no canto superior direito da página de edição do nó para implantar a tarefa no ambiente de produção. Para obter mais informações, consulte Publicar uma tarefa.
Próximas etapas
Após o envio e a publicação, a tarefa é executada periodicamente com base em sua configuração. Clique em O&M Personnel no canto superior direito da interface de edição do nó para acessar o Operation Center e monitorar o status de agendamento das tarefas recorrentes. Para obter mais informações, consulte Gerenciar tarefas recorrentes.