Desenvolva, agende e integre tarefas do PolarDB for PostgreSQL no DataWorks.
Informações de fundo
O PolarDB for PostgreSQL é um service de banco de dados relacional nativo da cloud desenvolvido pela Alibaba Cloud. Ele é 100% compatível com PostgreSQL e altamente compatível com a sintaxe Oracle. O PolarDB for PostgreSQL oferece elasticidade rápida, alto desempenho, armazenamento massivo, alta segurança e confiabilidade. Também suporta o Ganos, um mecanismo de informações espaço-temporais multidimensional e multimodelo desenvolvido pela Alibaba Cloud, além do mecanismo de informações geográficas de código aberto PostGIS. Para mais informações, consulte PolarDB for PostgreSQL.
Pré-requisitos
-
O fluxo de negócios deve estar criado.
O Data Studio executa operações de desenvolvimento específicas do mecanismo com base nos fluxos de negócios. Antes de criar um nó, crie primeiro um fluxo de negócios. Para mais informações, consulte Create a business flow.
-
É necessário ter uma source de dados do PolarDB for PostgreSQL.
Adicione seu banco de dados PolarDB for PostgreSQL como uma source de dados no DataWorks. Para criar uma source de dados, consulte Manage data sources. Para mais informações sobre sources de dados do PolarDB for PostgreSQL no DataWorks, consulte PolarDB data sources.
NotaOs nós do PolarDB for PostgreSQL suportam apenas sources de dados do PolarDB for PostgreSQL criadas com uma string de conexão JDBC.
-
Deve haver uma conexão de rede estabelecida entre sua source de dados e um grupo de recursos.
Certifique-se de que a source de dados desejada esteja conectada ao grupo de recursos que você pretende usar. Para mais informações sobre como configurar a conectividade de rede, consulte Establish a network connection between a resource group and a data source.
(Opcional; obrigatório para usuários do Resource Access Management (RAM)) O usuário RAM usado para o desenvolvimento de tarefas deve ter sido adicionado ao workspace de destino e receber a função Development ou Workspace Administrator (que concede permissões amplas — atribua com cautela). Para mais informações sobre como adicionar membros e conceder permissões, consulte Add members to a workspace.
Limites
Este recurso é suportado nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, Malaysia (Kuala Lumpur), Germany (Frankfurt), US (Silicon Valley) e US (Virginia).
Etapa 1: Criar um nó do PolarDB for PostgreSQL
-
Faça logon no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
Clique com o botão direito no fluxo de trabalho de destino e escolha .
Na caixa de diálogo Create Node, insira um Name para o nó e clique em OK. Após a criação do nó, você poderá desenvolver e configurar a tarefa dentro dele.
Etapa 2: Desenvolver a tarefa do PolarDB for PostgreSQL
(Opcional) Selecionar uma source de dados do PolarDB for PostgreSQL
Se o seu workspace possuir múltiplas sources de dados do PolarDB for PostgreSQL, selecione a necessária na lista suspensa da página do editor de nós. Caso exista apenas uma source de dados, ela será selecionada por padrão.
Os nós do PolarDB for MySQL suportam apenas sources de dados do PolarDB for MySQL criadas com uma string de conexão Java Database Connectivity (JDBC).
Desenvolver código SQL: exemplo simples
Escreva o código SQL no editor de código do nó do PolarDB for PostgreSQL. Exemplo:
SELECT * FROM usertablename;
Desenvolver código SQL: usar parâmetros de agendamento
O DataWorks fornece o Scheduling Parameter para passar valores dinamicamente quando as tarefas são executadas conforme o agendamento. Defina variáveis no seu código usando o formato ${variable_name}, depois clique em Schedule no painel à direita e acesse Scheduling Parameter para atribuir valores. Para mais informações, consulte Formats of scheduling parameters e Configure and use scheduling parameters.
O código a seguir apresenta um exemplo.
SELECT '${var}'; -- You can use a scheduling parameter for the var variable.
Etapa 3: Configurar o agendamento da tarefa
Para executar periodicamente a tarefa do nó, clique em Scheduling no lado direito da página de edição do nó e configure as definições de agendamento conforme suas necessidades. Para mais informações, consulte Overview of task scheduling properties.
É obrigatório configurar o Rerun attribute e os Parent Nodes do nó antes de enviá-lo.
Etapa 4: Testar o código da tarefa
Execute as operações de teste abaixo conforme necessário para verificar se a tarefa se comporta conforme o esperado.
-
(Opcional) Selecione um grupo de recursos e atribua valores personalizados aos parâmetros.
Clique no ícone
na barra de ferramentas. Na caixa de diálogo Parameter, selecione o grupo de recursos de agendamento para teste.Caso o código da sua tarefa utilize variáveis de parâmetro de agendamento, atribua valores a elas aqui para fins de teste. Para mais informações sobre a lógica de atribuição de parâmetros, consulte Task debugging process.
-
Salve e execute o código da tarefa.
Clique no ícone
na barra de ferramentas para salvar o código da tarefa. Em seguida, clique no ícone
para executar a tarefa. -
(Opcional) Realize testes de fumaça (smoke testing).
Para executar testes de fumaça no ambiente de desenvolvimento e verificar se a tarefa agendada do nó é executada conforme o esperado, realize esses testes durante ou após o envio do nó. Para mais informações, consulte Perform smoke testing.
Etapa 5: Enviar e publicar a tarefa
Após configurar a tarefa do nó, envie-a e publique-a. Uma vez publicada, a tarefa será executada periodicamente com base na configuração de agendamento definida.
Clique no ícone
na barra de ferramentas para salvar o nó.-
Clique no ícone
na barra de ferramentas para enviar a tarefa do nó.Na caixa de diálogo Submission, insira uma Change Description. Opcionalmente, escolha se deseja exigir revisão de código após o envio.
NotaÉ obrigatório configurar o Rerun attribute e os Parent Nodes do nó antes de enviá-lo.
A revisão de código ajuda a garantir a qualidade e evita erros causados pela publicação direta de código não revisado em produção. Se a revisão de código estiver ativada, o código do nó enviado precisará ser aprovado pelos revisores antes de poder ser publicado. Para mais informações, consulte Code review.
Se você estiver usando um workspace no modo padrão, após enviar a tarefa com sucesso, clique em Publish no canto superior direito da página de edição do nó para implantar a tarefa no ambiente de produção. Para mais informações, consulte Publish a task.
Próximas etapas
Operações da tarefa: Após o envio e a publicação, a tarefa é executada periodicamente com base na configuração do nó. Clique em O&M no canto superior direito da página de edição do nó para acessar o Operation Center e visualizar o status de agendamento e execução da tarefa agendada. Para mais informações, consulte Managing Scheduled Tasks.