DataWorks:Nó SelectDB

Contexto

O SelectDB é um data warehouse em tempo real nativo de multicloud de nova geração, construído sobre o Apache Doris. Ele foi projetado para análises de big data em escala empresarial e em tempo real, oferecendo um service econômico e fácil de usar. Para mais informações, consulte SelectDB.

Pré-requisitos

• Fluxo de negócios criado.

  O Data Studio executa operações de desenvolvimento específicas do mecanismo com base nos fluxos de negócios. Crie um fluxo de negócios antes de criar um nó. Para mais informações, consulte Create a business flow.

• Source de dados SelectDB criada.

  Para acessar seu banco de dados SelectDB, adicione-o como uma source de dados no DataWorks. Para obter instruções sobre como criar uma source de dados, consulte Data Source Management. Para saber como usar uma source de dados SelectDB no DataWorks, consulte SelectDB data source.

  Nota

  Os nós SelectDB suportam apenas sources de dados SelectDB criadas com uma string de conexão JDBC.

• Conexão de rede estabelecida entre a source de dados e um grupo de recursos.

  Certifique-se de que a source de dados desejada esteja conectada ao grupo de recursos que você pretende utilizar. Para mais informações sobre como configurar a conectividade de rede, consulte Establish a network connection between a resource group and a data source.

• (Opcional; obrigatório para usuários do Resource Access Management (RAM)) Usuário RAM utilizado para o desenvolvimento de tarefas adicionado ao workspace de destino e com a função Development ou Workspace Administrator atribuída (esta última concede permissões amplas — atribua com cautela). Para mais informações sobre como adicionar membros e conceder permissões, consulte Add members to a workspace.

Limitações

Este recurso está disponível nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, Malaysia (Kuala Lumpur), Germany (Frankfurt), US (Silicon Valley) e US (Virginia).

As sources de dados SelectDB não suportam a configuração de regras de monitoramento do Data Quality.

Etapa 1: Criar um nó SelectDB

1. Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.

2. Clique com o botão direito no Business Flow desejado e escolha Create Node > Database > SelectDB.

3. Na caixa de diálogo Create Node, insira um Name para o nó e clique em OK. Após a criação do nó, desenvolva e configure a tarefa dentro dele.

Etapa 2: Desenvolver uma tarefa SelectDB

(Opcional) Selecionar uma source de dados SelectDB

Caso seu workspace contenha múltiplas sources de dados SelectDB, selecione a que deseja utilizar na lista suspensa da página de edição do nó. Se houver apenas uma source de dados SelectDB, ela será selecionada automaticamente.

Escrever código SQL: Exemplo básico

No editor de código, escreva o código SQL da sua tarefa. Por exemplo:

SELECT * FROM usertablename;

Escrever código SQL: Usar parâmetros de agendamento

O Scheduling Parameter fornecido pelo DataWorks permite passar parâmetros dinamicamente para o código em cenários de agendamento periódico. Defina uma variável no código da tarefa do nó usando o formato ${variable_name} e atribua um valor a essa variável na seção Scheduling Configurations > Scheduling Parameter, localizada na barra de navegação à direita da página de edição do nó. Para mais detalhes sobre os formatos suportados e configurações, consulte Supported formats of scheduling parameters e Configure and use scheduling parameters.

Por exemplo:

SELECT '${var}'; -- You can use this with scheduling parameters.

Etapa 3: Configurar o agendamento da tarefa

Para executar a tarefa do nó periodicamente, clique em Scheduling no lado direito da página de edição do nó e defina as configurações de agendamento conforme necessário. Para mais informações, consulte Overview of task scheduling properties.

Etapa 4: Testar o código da tarefa

Execute as operações de teste abaixo conforme necessário para verificar se a tarefa se comporta conforme o esperado.

1. (Opcional) Selecione um grupo de recursos e atribua valores personalizados aos parâmetros.

   • Clique no ícone na barra de ferramentas. Na caixa de diálogo Parameter, selecione o grupo de recursos de agendamento para teste.

   • Se o código da tarefa utilizar variáveis de parâmetro de agendamento, atribua valores a elas aqui para fins de teste. Para mais informações sobre a lógica de atribuição de parâmetros, consulte Task debugging process.

2. Salve e execute o código da tarefa.

   Clique no ícone na barra de ferramentas para salvar o código da tarefa. Em seguida, clique no ícone para executar a tarefa.

3. (Opcional) Realize testes de fumaça (smoke testing).

   Para validar se a tarefa agendada do nó roda conforme o esperado no ambiente de desenvolvimento, realize testes de fumaça durante ou após o envio do nó. Para mais informações, consulte Perform smoke testing.

Etapa 5: Enviar e publicar a tarefa

Após configurar a tarefa do nó, envie-a e publique-a. Uma vez publicada, o nó será executado periodicamente com base na configuração de agendamento definida.

1. Clique no ícone na barra de ferramentas para salvar o nó.

2. Clique no ícone na barra de ferramentas para enviar a tarefa do nó.

   Na caixa de diálogo Submission, insira uma Change Description. Opcionalmente, escolha se deseja exigir revisão de código após o envio.

   Nota

   • É obrigatório configurar o Rerun attribute e os Parent Nodes do nó antes de enviá-lo.

   • A revisão de código ajuda a garantir a qualidade e evita erros causados pela publicação direta de código não revisado em produção. Se a revisão de código estiver ativada, o código do nó enviado precisará ser aprovado pelos revisores antes da publicação. Para mais informações, consulte Code review.

Se estiver utilizando um workspace no modo padrão, após enviar a tarefa com sucesso, clique em Publish no canto superior direito da página de edição do nó para implantar a tarefa no ambiente de produção. Para mais informações, consulte Publish a task.

Próximas etapas

Operações da tarefa: Após o envio e a publicação, a tarefa é executada periodicamente conforme a configuração do nó. Clique em O&M no canto superior direito da página de edição do nó para acessar o Operation Center e visualizar o status de agendamento e execução da tarefa programada. Para mais informações, consulte Managing Scheduled Tasks.