DataWorks:Nó do Redshift

Informações básicas

Use o Amazon Redshift Serverless para acessar e analisar dados sem configurar um data warehouse provisionado. Para mais informações, consulte Amazon Redshift.

Pré-requisitos

• Fluxo de negócios criado.

  O Data Studio executa operações de desenvolvimento específicas do mecanismo com base nos fluxos de negócios. Crie um fluxo de negócios antes de criar um nó. Para mais informações, consulte Create a business flow.

• Fonte de dados do Redshift criada.

  Para acessar os dados do banco de dados Redshift, adicione-o ao DataWorks como uma source de dados do Redshift. Para criar uma source de dados, consulte Data source management. Para mais informações sobre como usar uma source de dados do Redshift no DataWorks, consulte Amazon Redshift data source.

  Nota

  Os nós do Redshift suportam apenas fontes de dados do Redshift criadas com uma string de conexão JDBC.

• Conexão de rede estabelecida entre a fonte de dados e um grupo de recursos.

  Verifique se a source de dados desejada está conectada ao grupo de recursos que você pretende usar. Para mais informações sobre como configurar a conectividade de rede, consulte Establish a network connection between a resource group and a data source.

• (Opcional; obrigatório para usuários do Resource Access Management (RAM)) Usuário RAM usado para o desenvolvimento de tarefas adicionado ao workspace de destino e atribuído à função Development ou Workspace Administrator (concede amplas permissões — atribua com cautela). Para mais informações sobre como adicionar membros e conceder permissões, consulte Add members to a workspace.

Limitações

Regiões suportadas: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Germany (Frankfurt), US (Silicon Valley) e US (Virginia).

Etapa 1: Criar um nó do Redshift

1. Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.

2. Clique com o botão direito no fluxo de trabalho de destino e selecione Create Node > Database > Redshift.

3. Na caixa de diálogo Create Node, insira um Name para o nó e clique em OK. Após a criação do nó, desenvolva e configure tarefas nele.

Etapa 2: Desenvolver uma tarefa do Redshift

(Opcional) Selecionar uma source de dados do Redshift

Se houver múltiplas fontes de dados do Redshift no workspace, selecione a source adequada na página do editor do nó do Redshift. Caso exista apenas uma source de dados do Redshift, ela será usada para desenvolvimento por padrão.

Desenvolver código SQL: exemplo simples

No editor de código do nó do Redshift, escreva o código da tarefa a ser executada. O código abaixo fornece um exemplo:

SELECT * FROM usertablename;

Desenvolver código SQL: usar parâmetros de agendamento

O recurso Scheduling Parameter do DataWorks permite a entrada dinâmica de parâmetros para código em cenários de agendamento periódico. Defina variáveis no código usando o formato ${Variable name} na tarefa do nó e atribua um valor à variável na seção Properties > Scheduling Parameter no painel de navegação à direita da página de edição do nó. Para mais informações sobre os formatos suportados e detalhes de configuração, consulte Supported formats for scheduling parameters e Configure and use scheduling parameters.

O código a seguir apresenta um exemplo.

SELECT '${var}'; -- Can be used with a scheduling parameter.

Etapa 3: Configurar o agendamento da tarefa

Para executar a tarefa do nó periodicamente, clique em Scheduling no lado direito da página de edição do nó e defina as configurações de agendamento conforme necessário. Para mais informações, consulte Overview of task scheduling properties.

Etapa 4: Testar o código da tarefa

Execute as operações de teste abaixo conforme necessário para verificar se a tarefa se comporta conforme o esperado.

1. (Opcional) Selecione um grupo de recursos e atribua valores personalizados aos parâmetros.

   • Clique no ícone na barra de ferramentas. Na caixa de diálogo Parameter, selecione o grupo de recursos de agendamento para teste.

   • Se o código da tarefa usar variáveis de parâmetro de agendamento, atribua valores a elas aqui para teste. Para mais informações sobre a lógica de atribuição de parâmetros, consulte Task debugging process.

2. Salve e execute o código da tarefa.

   Clique no ícone na barra de ferramentas para salvar o código da tarefa. Em seguida, clique no ícone para executar a tarefa.

3. (Opcional) Execute testes de fumaça (smoke testing).

   Para validar o ambiente de desenvolvimento e confirmar que a tarefa agendada do nó é executada conforme o esperado, realize testes de fumaça durante ou após o envio do nó. Para mais informações, consulte Perform smoke testing.

Etapa 5: Enviar e publicar a tarefa

Após configurar a tarefa do nó, envie-a e publique-a. Depois de publicada, o nó é executado periodicamente com base na configuração de agendamento.

1. Clique no ícone na barra de ferramentas para salvar o nó.

2. Clique no ícone na barra de ferramentas para enviar a tarefa do nó.

   Na caixa de diálogo Submission, insira uma Change Description. Opcionalmente, escolha se deseja exigir revisão de código após o envio.

   Nota

   • Configure o Rerun attribute e os Parent Nodes do nó antes de enviá-lo.

   • A revisão de código ajuda a garantir a qualidade e evita erros causados pela publicação direta de código não revisado em produção. Se a revisão de código estiver ativada, os revisores devem aprovar o código do nó enviado antes da publicação. Para mais informações, consulte Code review.

Se você usar um workspace no modo padrão, após enviar a tarefa com sucesso, clique em Publish no canto superior direito da página de edição do nó para implantar a tarefa no ambiente de produção. Para mais informações, consulte Publish a task.

Próximas etapas

Operações da tarefa: Após o envio e a publicação, a tarefa é executada periodicamente com base na configuração do nó. Clique em O&M no canto superior direito da página de edição do nó para acessar o Operation Center e visualizar o status de agendamento e execução da tarefa agendada. Para mais informações, consulte Managing Scheduled Tasks.