Introdução ao gerenciamento de componentes no novo Data Studio - DataWorks: Central de Documentação do Alibaba Cloud

Os modelos de script abstraem a lógica SQL em modelos reutilizáveis. Para usar um modelo de script, crie primeiro um que atenda aos seus requisitos de negócios. Este tópico descreve como criar, compartilhar e atualizar modelos de script, visualizar seus registros de referência e executar outras operações de gerenciamento na página de gerenciamento de modelos de script do Data Studio.

Conceito principal

No MaxCompute, é comum encontrar processos SQL semelhantes em que apenas os nomes das tabelas de entrada e saída diferem, enquanto os esquemas permanecem idênticos ou compatíveis. Nesses casos, abstrair o processo SQL em um nó de modelo de script SQL permite definir as tabelas variáveis de entrada e saída como parâmetros, viabilizando a reutilização do código SQL.

Essa abordagem aumenta a eficiência do desenvolvimento e evita retrabalho. Ao usar um nó de modelo de script SQL, selecione na lista de componentes de código um modelo cuja lógica de negócios seja semelhante à sua e configure as tabelas específicas de entrada e saída para o seu negócio. Não é necessário reescrever o código; gere diretamente um novo nó de modelo de script SQL. Os procedimentos de publicação e agendamento para um nó de modelo de script SQL são os mesmos de um nó SQL comum.

Nota

Apenas o mecanismo de computação MaxCompute oferece suporte a modelos de script SQL.

Notas de uso

Versão: Este recurso está disponível apenas no DataWorks Standard Edition e em versões posteriores.
Permissões: A permissão de Development em um workspace do DataWorks é obrigatória para criar e usar modelos de script. Para mais informações, consulte Controle de permissão de módulo no nível de workspace.

Tipos de modelo de script

Crie um modelo de script como modelo de script SQL de workspace ou modelo de script SQL público.

Modelo de script SQL de workspace: Após a publicação, o modelo fica disponível por padrão apenas para usuários desse workspace do DataWorks. Para usar esse tipo de modelo, torne-se membro do workspace. Para mais informações, consulte Controle de permissão de módulo no nível de workspace.
Modelo de script SQL público: Publique um modelo de script para todo o tenant a partir da área Public SQL Script Templates para torná-lo disponível a todos os usuários desse tenant.

Acessar o gerenciamento de modelos de script

Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Localize o workspace e escolha Shortcuts > Data Studio na coluna Actions.
No painel de navegação à esquerda, clique em para acessar o gerenciamento de modelos de script.

Fluxo de trabalho

Etapa 1: Definir um modelo de script

Use a interface Snippets no Data Studio para definir o código do corpo do procedimento e os parâmetros de entrada e saída de uma lógica comum. Ao escrever um procedimento de processamento SQL abstrato, processe uma tabela de entrada especificada (passada como parâmetro de entrada) para gerar uma tabela de saída com valor de negócio, correspondente ao parâmetro de saída. O formato para parâmetros de entrada e saída no código é @@{parameter_name}.

Na área Workspace SQL Script Templates, clique no ícone e selecione New SQL Script Template. Alternativamente, selecione primeiro Create Directory para organizar o diretório de modelos de script, clique com o botão direito no diretório e selecione New SQL Script Template.
Nota
- Os modelos de script criados por membros do workspace atual estão listados em Workspace Component Management.
- Os modelos de script tornados públicos estão listados em Public SQL Script Templates.
Configure as informações do modelo de script.
1. Configure o corpo do procedimento.
  
  O corpo do procedimento é o código de implementação do modelo de script. Escreva código SQL abstrato (o procedimento de processamento SQL) e use o formato @@{parameter_name} para introduzir parâmetros de entrada e saída. Assim, você processa tabelas de entrada especificadas por meio de parâmetros de entrada para gerar tabelas de saída com valor de negócio. Posteriormente, ao usar o modelo de script, configure diferentes parâmetros de entrada e saída para gerar código SQL correto e executável a partir do modelo de código.
2. Configure os parâmetros de entrada.
  
  Clique em Parameters no lado direito da página de edição do modelo de script e clique no ícone ao lado de Input Parameters para definir os parâmetros de entrada do corpo do procedimento. Os tipos suportados são Table e String, indicando que o parâmetro de entrada é uma tabela ou uma string.
  
  Nota
  Você também pode clicar no botão de análise de parâmetros de entrada/saída na parte superior da página de edição do modelo de script. Use o recurso de análise automática para identificar os parâmetros de entrada e saída no código e configure os parâmetros relevantes com base na tabela a seguir.
  Table
  
  Caso de uso
  
  Use este tipo quando a categoria do resultado de saída for fixa e não mudar durante o processamento de dados com o modelo de script.
  
  Configuração e descrição de parâmetros
  - Parâmetro chave: Parameter Definition.
  - Descrição: Apresenta a estrutura da tabela de entrada em formato de texto. Pode incluir colunas, tipos de coluna e descrições das colunas da tabela. Essas informações orientam os usuários do modelo de script a configurar uma tabela de entrada com o mesmo número de parâmetros e tipos compatíveis com a estrutura definida, evitando erros durante a execução causados por incompatibilidade na contagem de colunas ou nos tipos entre a tabela configurada e a definida.
    
    Nota
    Esta definição serve apenas como referência e fornece dicas para a configuração de parâmetros de saída. Ela não é imposta em tempo real.
  - Exemplo:
    
    O formato recomendado para a definição de parâmetros é:
    
    field1_name field1_type field1_comment field2_name field2_type field2_comment …… fieldN_name fieldN_type fieldN_comment
    
    Exemplo:
    
    area_id STRING 'area id' city_id STRING 'city id' order_amt DOUBLE 'order amount'
  String
  
  Caso de uso
  
  Use este tipo quando precisar controlar os valores dos parâmetros de entrada por meio de variáveis durante o processamento de dados com o modelo de script.
  
  Configuração e descrição de parâmetros
  - Parâmetro chave: Default Value.
  - Descrição: Este tipo permite definir um valor padrão para o parâmetro. Após a definição, esse valor é usado automaticamente quando o modelo de script é utilizado.
  - Exemplo:
    
    Cenário 1: A tabela de saída do processo do modelo de script precisa apresentar os valores de vendas das N principais cidades de cada região. Defina N como um parâmetro de entrada deste modelo e controle seu valor por meio de um parâmetro do tipo string.
    
    Cenário 2: A tabela de saída do processo precisa apresentar o valor total de vendas de uma província. Defina um parâmetro de string de província como entrada e obtenha dados de vendas de diferentes províncias especificando valores distintos.
3. Configure os parâmetros de saída.
  
  Defina os parâmetros de saída para o corpo do procedimento, que representam as tabelas finais de saída do modelo de script. Para auxiliar os usuários, especifique a estrutura da tabela de saída na configuração do parâmetro de saída como referência.
  
  Clique em Parameters no lado direito da página de edição do modelo de script e clique no ícone ao lado de Output Parameters para definir os parâmetros de saída do corpo do procedimento.
  
  Nota
  Você também pode clicar no botão de análise de parâmetros de entrada/saída na parte superior da página de edição do modelo de script. Use o recurso de análise automática para identificar os parâmetros de entrada e saída no código e configure os parâmetros relevantes com base na tabela a seguir.
  - Parâmetro chave: Parameter Definition.
  - Descrição: Apresenta a estrutura da tabela de saída em formato de texto. Pode incluir colunas, tipos de coluna e descrições das colunas da tabela. Essas informações orientam os usuários do modelo de script a configurar uma tabela de saída com o mesmo número de parâmetros e tipos compatíveis com a estrutura definida, evitando erros durante a execução causados por incompatibilidade na contagem de colunas ou nos tipos entre a tabela configurada e a definida.
    
    Nota
    Esta definição serve apenas como referência e fornece dicas para a configuração de parâmetros de saída. Ela não é imposta em tempo real.
  - Exemplo:
    
    O formato recomendado para a definição de parâmetros é:
```
field1_name field1_type field1_comment 
field2_name field2_type field2_comment 
……
fieldN_name fieldN_type fieldN_comment
```
    Além disso, adicione colunas de resultados agregados à definição do parâmetro de saída conforme os resultados de processamento necessários, como classificação e receita total. Por exemplo:
```
area_id STRING 'area id' 
city_id STRING 'city id' 
order_amt DOUBLE 'order amount'
rank BIGINT 'rank'
```
Clique em Save e Submit.

Após a criação, referencie o modelo de script em nós de modelo de script SQL para gerar rapidamente as tabelas de destino exigidas pelo seu negócio. Para mais informações, consulte Etapa 2: Referenciar um modelo de script.
(Opcional) Clique em Publish Snippet para publicar um modelo de script de aplicação global para todo o tenant (exibido na área Public SQL Script Templates). Após o compartilhamento e a publicação, todos os usuários do tenant poderão usá-lo.

Etapa 2: Referenciar um modelo de script

Referencie um modelo de script das seguintes maneiras.

Referência em um nó de modelo de script SQL no Data Studio

Crie um nó de modelo de script SQL na interface DataStudio para referenciar o modelo desejado e substituir os parâmetros de entrada e saída, reutilizando o código.

No painel de navegação à esquerda do Data Studio, clique em para acessar o desenvolvimento de dados.
No Project Directory, planeje o local para criar o nó de modelo de script SQL conforme suas necessidades de negócio. Em seguida, clique com o botão direito em um diretório ou clique no ícone , selecione New Node > MaxCompute > SQL Snippet e especifique um nome personalizado para o nó.
Na página de edição do nó de modelo de script SQL, clique em Component Settings no lado direito e clique em SQL Script Template.
Ao selecionar o código do modelo de script, ele será preenchido automaticamente na página de edição. Defina os valores de cada parâmetro em Component Settings.

Referência a partir do gerenciamento de componentes do workspace

Localize o modelo de script desejado na interface Snippets e referencie-o diretamente para criar um nó de modelo de script SQL. Substitua os parâmetros de entrada e saída para reutilizar o código.

No painel de navegação à esquerda do Data Studio, clique em para acessar o gerenciamento de modelos de script.
Em Workspace Component Management, localize o modelo de script alvo, clique com o botão direito nele e selecione Create Snippet Node.
Siga as instruções da página para selecionar o local e o nome do nó de modelo de script SQL.
Após a criação do nó, o código do modelo de script será preenchido automaticamente na página de edição. Defina os valores de cada parâmetro em Component Settings.

Referência a partir do gerenciamento de modelos de script públicos

Encontre modelos de script públicos compartilhados por outros tenants na interface Snippets e referencie-os diretamente para criar nós de modelo de script SQL. Substitua os parâmetros de entrada e saída para reutilizar o código.

No painel de navegação à esquerda do Data Studio, clique em para acessar o gerenciamento de modelos de script.
Na área Public SQL Script Templates, localize o modelo de script alvo e clique em Create Snippet Node.
Siga as instruções da página para selecionar o local e o nome do nó de modelo de script SQL.
Após a criação do nó, o código do modelo de script será preenchido automaticamente na página de edição. Defina os valores de cada parâmetro em Component Settings.

Atualizar um modelo de script

Operação de atualização: Desenvolvedor do modelo de script

Edite o código do modelo de script e as configurações de parâmetros relacionadas conforme necessário. Após salvar e enviar as alterações, o modelo de script é atualizado para uma nova versão. Visualize os detalhes de cada versão em Version.

Atualização da versão do modelo de script referenciado: Usuário do modelo de script

Quando um modelo de script é atualizado e seu nó de modelo de script SQL referencia esse modelo, escolha se deseja usar a versão mais recente.

Se não precisar da nova versão, continue referenciando a versão original.
Para usar a nova versão, verifique se a configuração de parâmetros do nó ainda é válida e faça ajustes com base na descrição da nova versão. Após a edição, envie e implante as alterações. O processo de envio e implantação é o mesmo de um nó SQL comum.

Exemplo de cenário de atualização

Um desenvolvedor cria a V1 de um modelo de script SQL e um usuário utiliza essa V1. Posteriormente, o desenvolvedor atualiza o modelo para a V2. O usuário percebe que há uma versão mais recente disponível, abre o modelo, visualiza os detalhes das diferentes versões e compara-as. Ao constatar que a nova versão oferece melhores resultados de negócios, atualiza para a versão mais recente.

Visualizar registros de referência do modelo de script

No lado direito da página de edição do modelo de script, clique nos registros de referência para ver quais nós referenciam o modelo atual. Isso ajuda a estimar o impacto antes de alterar o modelo.

Outras operações

Clonar um modelo de script

Use o recurso de clonagem para duplicar rapidamente um modelo de script existente e criar um novo. O conteúdo clonado inclui o código do modelo de script, as configurações de parâmetros e os parâmetros de agendamento em Run Configuration.

Na área Workspace Component Management à esquerda, clique com o botão direito no modelo de script que deseja clonar e selecione Cloning no menu de contexto.
Na caixa de diálogo, modifique o Name e o Path do modelo de script (ou mantenha os valores padrão) e clique em Confirm para iniciar a clonagem.
Após a conclusão da clonagem, visualize o novo modelo de script gerado em Workspace Component Management.

Gerenciamento de versões

Restaure um modelo de script para uma versão histórica específica usando o recurso de gerenciamento de versões. Utilize também os recursos de visualização e comparação de versões para analisar diferenças e realizar ajustes.

Na área Workspace Component Management à esquerda, clique duas vezes no modelo de script cujas versões deseja visualizar e gerenciar para abrir sua página de edição.
Clique em Version no lado direito da página de edição do modelo de script. Na página Version, visualize e gerencie as informações de Developer Record e Publish Record.
- View uma versão:
  1. Na aba Developer Record ou Publish Record, localize a versão do modelo de script que deseja visualizar.
  2. Clique em View na coluna Operation para acessar a página de detalhes e ver o código do modelo de script e as configurações de agendamento.
- Compare versões:
  
  Na aba Developer Record ou Publish Record, compare diferentes versões do modelo de script. O exemplo a seguir usa o registro de desenvolvedor para demonstrar a operação de comparação.
  - Comparar dentro do ambiente de desenvolvimento ou produção: Na aba Developer Record, selecione duas versões e clique no botão Select Comparison na parte superior para comparar o código do modelo de script e as configurações de agendamento das duas versões.
  - Comparar entre os ambientes de desenvolvimento e produção:
    1. Na aba Developer Record, localize a versão desejada do modelo de script.
    2. Clique em Compare na coluna Operation e, na página de detalhes, selecione uma versão em Publish Record para realizar a comparação.
- Restore uma versão:
  
  Restaure um modelo de script para uma versão histórica específica apenas a partir de Developer Record. Na aba Developer Record, localize a versão alvo e clique em Restore na coluna Operation para restaurar o modelo de script para essa versão.