Introdução ao gerenciamento de componentes no novo Data Studio - DataWorks: Central de Documentação do Alibaba Cloud

Os modelos de script abstraem a lógica SQL em modelos reutilizáveis compartilháveis entre nós. Crie um modelo adequado aos seus requisitos de negócios e gerencie-o na página de gerenciamento de modelos de script no Data Studio para compartilhar, atualizar e visualizar registros de referência.

Conceito principal

No MaxCompute, é comum encontrar processos SQL semelhantes em que apenas os nomes das tabelas de entrada e saída diferem, enquanto os esquemas permanecem idênticos ou compatíveis. O desenvolvedor pode abstrair esse processo em um nó de modelo de script SQL, definindo as tabelas variáveis de entrada e saída como parâmetros para permitir a reutilização do código SQL.

Essa abordagem aumenta a eficiência do desenvolvimento e evita retrabalho. Ao usar um nó de modelo de script SQL, selecione um modelo com lógica de negócios semelhante na lista e configure as tabelas específicas de entrada e saída. Não é necessário reescrever o código, pois o sistema gera diretamente um novo nó de modelo de script SQL. A publicação e o agendamento desse nó seguem os mesmos procedimentos de um nó SQL comum.

Nota

Apenas o mecanismo de computação MaxCompute oferece suporte a modelos de script SQL.

Observações de uso

Versão: Este recurso está disponível apenas na DataWorks Standard Edition e em versões posteriores.
Permissões: Você deve ter a permissão Development em um workspace do DataWorks para criar e usar modelos de script. Para mais informações, consulte Workspace-level module permission control.

Tipos de modelo de script

Os modelos de script podem ter escopo restrito a um workspace ou ser públicos em todo o tenant.

Modelo de script SQL do workspace: Após a publicação, o modelo fica disponível apenas para os membros desse workspace do DataWorks. Para mais informações, consulte Workspace-level module permission control.
Modelo de script SQL público: O desenvolvedor pode publicar um modelo de script para todo o tenant na área Public SQL Script Templates, tornando-o acessível a todos os usuários do tenant.

Acessar o gerenciamento de modelos de script

Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Localize o workspace e escolha Shortcuts > Data Studio na coluna Actions.
No painel de navegação à esquerda, clique em para acessar o gerenciamento de modelos de script.

Fluxo de trabalho

Etapa 1: Definir um modelo de script

Desenvolvedores de modelos de script usam a interface Snippets no Data Studio para definir o código do corpo do procedimento e os parâmetros de entrada e saída de uma lógica comum. O procedimento SQL abstrato processa uma tabela de entrada especificada (passada como parâmetro de entrada) para gerar uma tabela de saída com valor de negócios (o parâmetro de saída). Os parâmetros de entrada e saída usam o formato @@{parameter_name}.

Na área Workspace SQL Script Templates, clique no ícone e selecione New SQL Script Template. Você também pode selecionar primeiro Create Directory para organizar o diretório de modelos de script e, em seguida, clicar com o botão direito no diretório e selecionar New SQL Script Template.
Nota
- Os modelos de script criados por membros do workspace atual estão listados em Workspace Component Management.
- Os modelos de script tornados públicos estão listados em Public SQL Script Templates.
Configure as informações do modelo de script.
1. Configure o corpo do procedimento.
  
  O corpo do procedimento é o código de implementação do modelo de script. Escreva o código SQL abstrato usando @@{parameter_name} para referenciar os parâmetros de entrada e saída. O procedimento SQL processa as tabelas de entrada especificadas pelos parâmetros de entrada e gera as tabelas de saída. Ao usar o modelo posteriormente, configure diferentes parâmetros de entrada e saída para produzir um código SQL correto e executável a partir do modelo.
2. Configure os parâmetros de entrada.
  
  Clique em Parameters no lado direito da página de edição do modelo de script e, em seguida, clique no ícone ao lado de Input Parameters para definir os parâmetros de entrada do corpo do procedimento. Os tipos suportados são Table e String, indicando que o parâmetro de entrada é uma tabela ou uma string.
  
  Nota
  Você também pode clicar no botão de análise de parâmetros de entrada/saída na parte superior da página de edição do modelo de script para usar o recurso de análise automática. Esse recurso identifica automaticamente os parâmetros de entrada e saída no código; em seguida, configure os parâmetros relevantes conforme a tabela a seguir.
  Table
  
  Caso de uso
  
  Use este tipo quando a categoria do resultado de saída for fixa e não mudar durante o processamento.
  
  Configuração e descrição do parâmetro
  - Parâmetro chave: Parameter Definition.
  - Descrição: Descreve a estrutura da tabela de entrada em formato de texto, incluindo nomes de colunas, tipos e descrições. Isso orienta os usuários do modelo a configurar uma tabela de entrada com contagem de colunas correspondente e tipos compatíveis, evitando erros de execução causados por incompatibilidades de esquema.
    
    Nota
    Esta definição serve apenas como referência e fornece dicas para a configuração do parâmetro de saída. Ela não é imposta em tempo real.
  - Exemplo:
    
    O formato recomendado para a definição do parâmetro é:
    
    field1_name field1_type field1_comment field2_name field2_type field2_comment …… fieldN_name fieldN_type fieldN_comment
    
    Exemplo:
    
    area_id STRING 'area id' city_id STRING 'city id' order_amt DOUBLE 'order amount'
  String
  
  Caso de uso
  
  Use este tipo quando for necessário controlar os valores dos parâmetros de entrada por meio de variáveis durante o processamento.
  
  Configuração e descrição do parâmetro
  - Parâmetro chave: Default Value.
  - Descrição: Suporta a definição de um valor padrão. Quando definido, o sistema usa o valor padrão automaticamente ao referenciar o modelo de script.
  - Exemplo:
    
    Cenário 1: A tabela de saída do processo do modelo de script precisa apresentar os valores de vendas das N principais cidades de cada região. Defina N como um parâmetro de entrada deste modelo e controle o valor de N por meio de um parâmetro do tipo string.
    
    Cenário 2: A tabela de saída do processo do modelo de script precisa apresentar o valor total de vendas de uma província. Defina um parâmetro de string da província como entrada deste modelo e obtenha dados de vendas de diferentes províncias especificando valores distintos.
3. Configure os parâmetros de saída.
  
  Defina os parâmetros de saída do corpo do procedimento, que representam as tabelas finais de saída. Especifique a estrutura da tabela de saída na configuração do parâmetro para servir de referência.
  
  Clique em Parameters no lado direito da página de edição do modelo de script e, em seguida, clique no ícone ao lado de Output Parameters para definir os parâmetros de saída do corpo do procedimento.
  
  Nota
  Você também pode clicar no botão de análise de parâmetros de entrada/saída na parte superior da página de edição do modelo de script para usar o recurso de análise automática. Esse recurso identifica automaticamente os parâmetros de entrada e saída no código; em seguida, configure os parâmetros relevantes conforme a tabela a seguir.
  - Parâmetro chave: Parameter Definition.
  - Descrição: Descreve a estrutura da tabela de saída em formato de texto, incluindo nomes de colunas, tipos e descrições. Isso orienta os usuários do modelo a configurar uma tabela de saída com contagem de colunas correspondente e tipos compatíveis, evitando erros de execução causados por incompatibilidades de esquema.
    
    Nota
    Esta definição serve apenas como referência e fornece dicas para a configuração do parâmetro de saída. Ela não é imposta em tempo real.
  - Exemplo:
    
    O formato recomendado para a definição do parâmetro é:
```
field1_name field1_type field1_comment 
field2_name field2_type field2_comment 
……
fieldN_name fieldN_type fieldN_comment
```
    Além disso, adicione colunas de resultados agregados à definição do parâmetro de saída com base nos resultados de processamento necessários, como classificação e receita total. Por exemplo:
```
area_id STRING 'area id' 
city_id STRING 'city id' 
order_amt DOUBLE 'order amount'
rank BIGINT 'rank'
```
Clique em Save e Submit.

Após criar o modelo de script, referencie-o em nós de modelo de script SQL para gerar rapidamente as tabelas de destino exigidas pelo seu negócio. Para mais informações, consulte Step 2: Reference a script template.
(Opcional) Clique em Publish Snippet para publicar o modelo de script em todo o tenant (exibido na área Public SQL Script Templates). Após o compartilhamento, todos os usuários do tenant poderão utilizá-lo.

Etapa 2: Referenciar um modelo de script

Referencie um modelo de script das seguintes maneiras:

Referência em um nó de modelo de script SQL no Data Studio

Crie um nó de modelo de script SQL na interface DataStudio, referencie um modelo de script e substitua os parâmetros de entrada e saída para reutilizar o código.

No painel de navegação à esquerda do Data Studio, clique em para acessar o desenvolvimento de dados.
No Project Directory, planeje o local para criar o nó de modelo de script SQL conforme suas necessidades de negócios. Em seguida, clique com o botão direito em um diretório ou clique no ícone e selecione New Node > MaxCompute > SQL Snippet e especifique um nome personalizado para o nó de modelo de script SQL.
Na página de edição do nó de modelo de script SQL, clique em Component Settings no lado direito e, em seguida, clique em SQL Script Template.
Ao selecionar o código do modelo de script, o sistema o preenche automaticamente na página de edição do modelo de script SQL. Defina os valores de cada parâmetro em Component Settings.

Referência a partir do gerenciamento de componentes do workspace

Localize o modelo de script desejado na interface Snippets e referencie-o para criar um nó de modelo de script SQL. Em seguida, substitua os parâmetros de entrada e saída para reutilizar o código.

No painel de navegação à esquerda do Data Studio, clique em para acessar o gerenciamento de modelos de script.
Em Workspace Component Management, localize o modelo de script desejado, clique com o botão direito nele e selecione Create Snippet Node.
Siga as instruções da página para selecionar o local e o nome do nó de modelo de script SQL.
Após criar o nó, o sistema preenche automaticamente o código do modelo de script na página de edição do modelo de script SQL. Defina os valores de cada parâmetro em Component Settings.

Referência a partir do gerenciamento de modelos de script públicos

Encontre modelos de script públicos compartilhados por outros tenants na interface Snippets e referencie-os para criar nós de modelo de script SQL. Depois, substitua os parâmetros de entrada e saída para reutilizar o código.

No painel de navegação à esquerda do Data Studio, clique em para acessar o gerenciamento de modelos de script.
Na área Public SQL Script Templates, localize o modelo de script desejado e clique em Create Snippet Node.
Siga as instruções da página para selecionar o local e o nome do nó de modelo de script SQL.
Após criar o nó, o sistema preenche automaticamente o código do modelo de script na página de edição do modelo de script SQL. Defina os valores de cada parâmetro em Component Settings.

Atualizar um modelo de script

Operação de atualização: Desenvolvedor do modelo de script

Desenvolvedores de modelos de script podem editar o código e as configurações de parâmetros conforme necessário. Após salvar e enviar, o modelo de script é atualizado para uma nova versão. Visualize os detalhes da versão em Version.

Atualização da versão do modelo de script referenciado: Usuário do modelo de script

Quando um modelo de script é atualizado, se o seu nó de modelo de script SQL o referenciar, você poderá escolher se deseja adotar a versão mais recente.

Caso não precise da nova versão, continue referenciando a versão original.
Se desejar usar a nova versão, verifique se a configuração de parâmetros do seu nó de modelo de script SQL ainda é válida e faça ajustes conforme necessário. Após editar, envie e implante as alterações. O processo de envio e implantação é o mesmo de um nó SQL comum.

Exemplo de cenário de atualização

Um desenvolvedor cria a V1 de um modelo de script SQL e um usuário referencia a V1. Posteriormente, o desenvolvedor atualiza o modelo para a V2. O usuário descobre que a V2 está disponível, abre o modelo, compara as versões, constata que a V2 oferece melhores resultados de negócios e realiza a atualização.

Visualizar registros de referência do modelo de script

No lado direito da página de edição do modelo de script, clique nos registros de referência para visualizar quais nós referenciam o modelo atual. Isso ajuda a estimar o impacto antes de fazer alterações.

Outras operações

Clonar um modelo de script

Clone um modelo de script existente para criar rapidamente um novo. O conteúdo clonado inclui o código do modelo de script, as configurações de parâmetros e os parâmetros de agendamento em Run Configuration.

Na área Workspace Component Management no lado esquerdo, clique com o botão direito no modelo de script que deseja clonar e selecione Cloning no menu de contexto.
Na caixa de diálogo, modifique o Name e o Path do modelo de script (ou mantenha os valores padrão) e, em seguida, clique em Confirm para iniciar a clonagem.
Após concluir a clonagem, visualize o novo modelo de script gerado em Workspace Component Management.

Gerenciamento de versões

Restaure um modelo de script para uma versão histórica específica. Os recursos de visualização e comparação de versões ajudam a analisar diferenças e fazer ajustes.

Na área Workspace Component Management no lado esquerdo, clique duas vezes no modelo de script cujas versões deseja visualizar e gerenciar para abrir sua página de edição.
Clique em Version no lado direito da página de edição do modelo de script. Na página Version, visualize e gerencie as informações de Developer Record e Publish Record.
- View uma versão:
  1. Na aba Developer Record ou Publish Record, localize a versão do modelo de script que deseja visualizar.
  2. Clique em View na coluna Operation para acessar a página de detalhes e visualizar o código do modelo de script e as configurações de agendamento.
- Compare versões:
  
  Na aba Developer Record ou Publish Record, compare diferentes versões. O exemplo a seguir utiliza o registro de desenvolvimento.
  - Comparar dentro do ambiente de desenvolvimento ou produção: Na aba Developer Record, selecione duas versões e clique em Select Comparison para comparar o código e as configurações de agendamento.
  - Comparar entre os ambientes de desenvolvimento e produção:
    1. Na aba Developer Record, localize a versão desejada do modelo de script.
    2. Clique em Compare na coluna Operation e, na página de detalhes, selecione uma versão em Publish Record para realizar a comparação.
- Restore uma versão:
  
  A restauração só é possível a partir do Developer Record. Na aba Developer Record, localize a versão desejada e clique em Restore na coluna Operation para restaurar o modelo de script.