DataWorks:Nó Doris

Contexto

O Apache Doris é um banco de dados analítico em tempo real de alto desempenho, ideal para casos de uso como análise de relatórios, consultas ad hoc e aceleração de consultas federadas em data lake. Para mais informações, consulte Introdução ao Apache Doris.

Pré-requisitos

• Fluxo de negócios criado.

  O Data Studio executa operações de desenvolvimento específicas do mecanismo com base nos fluxos de negócios. Crie um fluxo de negócios antes de criar um nó. Para mais informações, consulte Create a business flow.

• Fonte de dados Doris criada.

  Adicione seu banco de dados Doris como uma fonte de dados Doris no DataWorks antes de acessar os dados. Para mais informações sobre como criar uma fonte de dados, consulte Manage data sources. Para mais detalhes sobre o uso de uma fonte de dados Doris no DataWorks, consulte Doris data source.

  Nota

  Os nós Doris suportam apenas fontes de dados Doris criadas por meio de uma string de conexão JDBC.

• Conexão de rede estabelecida entre a fonte de dados e um grupo de recursos.

  Certifique-se de que a fonte de dados desejada esteja conectada ao grupo de recursos que você pretende utilizar. Para mais informações sobre como configurar a conectividade de rede, consulte Establish a network connection between a resource group and a data source.

• (Opcional; obrigatório para usuários do Resource Access Management (RAM)) O usuário RAM utilizado para o desenvolvimento de tarefas foi adicionado ao workspace de destino e recebeu a função Development ou Workspace Administrator (que concede permissões amplas — atribua com cautela). Para mais informações sobre como adicionar membros e conceder permissões, consulte Add members to a workspace.

Limitações

Os nós Doris são suportados nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Germany (Frankfurt), US (Silicon Valley) e US (Virginia).

Etapa 1: Criar um nó Doris

1. Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.

2. Clique com o botão direito no fluxo de trabalho de destino e escolha Create Node > Database > Doris.

3. Na caixa de diálogo Create Node, insira um Name para o nó e clique em OK. Após criar o nó, desenvolva e configure sua tarefa.

Etapa 2: Desenvolver a tarefa Doris

(Opcional) Selecionar uma fonte de dados Doris

Se o workspace possuir múltiplas fontes de dados Doris, selecione a apropriada na página do editor do nó. Caso exista apenas uma fonte de dados Doris, ela será utilizada por padrão.

Desenvolver código SQL: Exemplo simples

No editor de código do nó Doris, escreva o SQL da tarefa. Veja um exemplo:

SELECT * FROM usertablename;

Desenvolver código SQL: Usar parâmetros de agendamento

O DataWorks fornece o recurso Scheduling Parameter para passar valores dinâmicos ao código em tarefas periódicas. Defina variáveis no código da tarefa utilizando o formato ${variable_name}. Em seguida, no painel de navegação à direita do editor de nós, acesse a aba Properties e utilize a seção Scheduling Parameter para atribuir um valor à variável. Para mais informações sobre os formatos suportados e detalhes de configuração, consulte Supported formats of scheduling parameters e Configure and use scheduling parameters.

O código de exemplo a seguir demonstra esse processo:

SELECT '${var}'; -- You can use scheduling parameters with this code.

Etapa 3: Configurar o agendamento da tarefa

Para executar a tarefa do nó periodicamente, clique em Scheduling no lado direito da página de edição do nó e defina as configurações de agendamento conforme necessário. Para mais informações, consulte Overview of task scheduling properties.

Etapa 4: Testar o código da tarefa

Realize as operações de teste abaixo conforme necessário para verificar se a tarefa se comporta conforme o esperado.

1. (Opcional) Selecione um grupo de recursos e atribua valores personalizados aos parâmetros.

   • Clique no ícone na barra de ferramentas. Na caixa de diálogo Parameter, selecione o grupo de recursos de agendamento para teste.

   • Se o código da tarefa utilizar variáveis de parâmetro de agendamento, atribua valores a elas aqui para fins de teste. Para mais informações sobre a lógica de atribuição de parâmetros, consulte Task debugging process.

2. Salve e execute o código da tarefa.

   Clique no ícone na barra de ferramentas para salvar o código da tarefa. Em seguida, clique no ícone para executar a tarefa.

3. (Opcional) Realize testes de fumaça (smoke testing).

   Para executar testes de fumaça no ambiente de desenvolvimento e verificar se a tarefa agendada do nó é executada conforme o esperado, realize esses testes durante ou após o envio do nó. Para mais informações, consulte Perform smoke testing.

Etapa 5: Enviar e publicar a tarefa

Após configurar a tarefa do nó, envie-a e publique-a. Uma vez publicada, o nó será executado periodicamente com base em sua configuração de agendamento.

1. Clique no ícone na barra de ferramentas para salvar o nó.

2. Clique no ícone na barra de ferramentas para enviar a tarefa do nó.

   Na caixa de diálogo Submission, insira uma Change Description. Opcionalmente, escolha se deseja exigir revisão de código após o envio.

   Nota

   • Configure o Rerun attribute e os Parent Nodes do nó antes de enviá-lo.

   • A revisão de código ajuda a garantir a qualidade e evita erros causados pela publicação direta de código não revisado em produção. Se a revisão de código estiver ativada, os revisores deverão aprovar o código do nó enviado antes da publicação. Para mais informações, consulte Code review.

Se você utilizar um workspace no modo padrão, após enviar a tarefa com sucesso, clique em Publish no canto superior direito da página de edição do nó para implantar a tarefa no ambiente de produção. Para mais informações, consulte Publish a task.

Próximas etapas

Operações da tarefa: Após enviar e publicar uma tarefa, ela é executada periodicamente com base na configuração do nó. Clique em O&M no canto superior direito da página de edição do nó para acessar o Operation Center e visualizar o status de agendamento e execução da tarefa agendada. Para mais informações, consulte Managing Scheduled Tasks.