DataWorks:Vertica

Informações gerais

O Vertica é um sistema de gerenciamento de banco de dados (DBMS) orientado a colunas e de alto desempenho, projetado para processar e consultar conjuntos de dados de grande escala em alta velocidade. É ideal para análises de big data e consultas em tempo real. Para obter mais informações, acesse o site oficial do Vertica.

Pré-requisitos

• O processo de negócios foi criado.

  O Data Studio executa operações de desenvolvimento específicas de cada mecanismo com base em fluxos de negócios. Antes de criar um nó, crie primeiro um fluxo de negócios. Para obter mais informações, consulte Create a business flow.

• Uma fonte de dados Vertica foi criada.

  Adicione seu banco de dados Vertica como uma fonte de dados Vertica no DataWorks para acessar seus dados. Para obter mais informações sobre como criar uma fonte de dados, consulte Manage data sources. Para obter mais informações sobre como usar uma fonte de dados Vertica no DataWorks, consulte Vertica data source.

  Nota

  Os nós Vertica suportam apenas fontes de dados Vertica criadas pelo método de string de conexão Java Database Connectivity (JDBC).

• Uma conexão de rede foi estabelecida entre sua fonte de dados e um grupo de recursos.

  Verifique se a fonte de dados desejada está conectada ao grupo de recursos que você pretende usar. Para obter mais informações sobre como configurar a conectividade de rede, consulte Establish a network connection between a resource group and a data source.

• (Opcional; obrigatório para usuários do Resource Access Management (RAM)) O usuário RAM utilizado para o desenvolvimento da tarefa foi adicionado ao workspace de destino e recebeu a função Development ou Workspace Administrator (que concede permissões amplas — atribua com cautela). Para obter mais informações sobre como adicionar membros e conceder permissões, consulte Add members to a workspace.

Limitações

Regiões suportadas: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, Malaysia (Kuala Lumpur), Germany (Frankfurt), US (Silicon Valley) e US (Virginia).

Etapa 1: criar um nó Vertica

1. Faça logon no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.

2. Clique com o botão direito no workflow de destino e escolha Create Node > Database > Vertica.

3. Na caixa de diálogo Create Node, insira um Name para o nó e clique em OK. Após a criação do nó, desenvolva e configure a tarefa nele.

Etapa 2: desenvolver a tarefa Vertica

(Opcional) Selecionar a fonte de dados Vertica

Se houver várias fontes de dados Vertica criadas no seu workspace, selecione a fonte de dados apropriada na guia de configuração do nó Vertica. Caso exista apenas uma fonte de dados Vertica, ela será utilizada por padrão.

Desenvolver o código SQL: exemplo simples

No editor de código do nó Vertica, escreva o código SQL para sua tarefa. O código a seguir fornece um exemplo.

SELECT * FROM usertablename;

Usar parâmetros de agendamento

O DataWorks disponibiliza Scheduling Parameter, que permite passar valores dinamicamente ao seu código durante o agendamento periódico. Defina variáveis no código da tarefa usando o formato ${variable_name}. Em seguida, no painel de navegação à direita da página de edição do nó, escolha Properties > Scheduling Parameter e atribua valores às variáveis. Para obter mais informações sobre os formatos suportados e como configurar parâmetros de agendamento, consulte Formats of scheduling parameters e Configure and use scheduling parameters.

O código a seguir fornece um exemplo.

SELECT '${var}'; -- Example of using a scheduling parameter.

Etapa 3: configurar o agendamento da tarefa

Para executar a tarefa do nó periodicamente, clique em Scheduling no lado direito da página de edição do nó e ajuste as configurações de agendamento conforme suas necessidades. Para obter mais informações, consulte Overview of task scheduling properties.

Etapa 4: testar o código da tarefa

Execute as operações de teste a seguir conforme necessário para verificar se a tarefa se comporta como esperado.

1. (Opcional) Selecione um grupo de recursos e atribua valores personalizados aos parâmetros.

   • Clique no ícone na barra de ferramentas. Na caixa de diálogo Parameter, selecione o grupo de recursos de agendamento para o teste.

   • Se o código da tarefa utilizar variáveis de parâmetros de agendamento, atribua valores a elas aqui para o teste. Para obter mais informações sobre a lógica de atribuição de parâmetros, consulte Task debugging process.

2. Salve e execute o código da tarefa.

   Clique no ícone da barra de ferramentas para salvar o código da tarefa. Em seguida, clique no ícone para executar a tarefa.

3. (Opcional) Realize testes de fumaça.

   Para executar testes de fumaça no ambiente de desenvolvimento e verificar se a tarefa agendada do nó é executada conforme o esperado, faça o teste durante ou após o envio do nó. Para obter mais informações, consulte Perform smoke testing.

Etapa 5: enviar e publicar a tarefa

Após configurar a tarefa do nó, envie-a e publique-a. Uma vez publicada, o nó é executado periodicamente com base em sua configuração de agendamento.

1. Clique no ícone da barra de ferramentas para salvar o nó.

2. Clique no ícone da barra de ferramentas para enviar a tarefa do nó.

   Na caixa de diálogo Submission, insira uma Change Description. Opcionalmente, escolha se será exigida uma revisão de código após o envio.

   Nota

   • Configure os atributos Rerun attribute e Parent Nodes do nó antes de enviá-lo.

   • A revisão de código ajuda a garantir a qualidade do código e evita erros causados pela publicação direta de código não revisado em produção. Quando a revisão de código está ativada, o código do nó enviado precisa ser aprovado pelos revisores antes de ser publicado. Para obter mais informações, consulte Code review.

Se você utiliza um workspace no modo standard, após enviar a tarefa com sucesso, clique em Publish no canto superior direito da página de edição do nó para implantar a tarefa no ambiente de produção. Para obter mais informações, consulte Publish a task.

Próximas etapas

Operações da tarefa: após ser confirmada e publicada, a tarefa é executada periodicamente com base na configuração do nó. Clique em O&M no canto superior direito da página de edição do nó para acessar o Operation Center e visualizar o agendamento e o status de execução da tarefa agendada. Para obter mais informações, consulte Managing Scheduled Tasks.