Realtime Compute for Apache Flink:Gerenciamento de variáveis

ETL (job SQL)

Você pode usar variáveis durante o desenvolvimento de jobs SQL, inclusive como argumentos para funções personalizadas. Também é possível modificar os valores das variáveis ao iniciar o job.

1. No painel de navegação à esquerda do console do Realtime Compute for Apache Flink, clique em Development > ETL.

2. No editor SQL do job SQL de destino, crie variáveis usando o formato ${variable_name}, conforme mostrado no exemplo a seguir.

   • Ao usar como parâmetro em uma cláusula WITH, coloque a variável entre aspas simples: '${variable_name}'.

   • Ao usar em outros locais (como nomes de tabelas ou campos SQL), coloque a variável entre crases: ${variable_name}.

   <Appender name="SLS" type="SLS">
     <Layout pattern="%d{yyyy-MM-dd HH:mm:ss,SSS}{GMT+8} %-5p %-60c %x - %m%n" type="PatternLayout" charset="UTF-8"/>  
     <!-- The final effective log path is: ${baseUri}/logs/${namespace}/${deploymentId}/{jobId}/ -->
     <Property name="namespace">{{ namespace }}</Property> <!-- Do not modify this line -->
     <Property name="project">YOUR-SLS-PROJECT</Property>  
     <Property name="logStore">YOUR-SLS-LOGSTORE</Property> 
     <Property name="endpoint">YOUR-SLS-ENDPOINT</Property> 
     <Property name="accessKeyId">${secret_values.accessKeyId}</Property> 
     <Property name="accessKeySecret">${secret_values.accessKeySecret}</Property> 
     <Property name="topic">{{ namespace }}:{{ deploymentId }}:{{ jobId }}</Property>
     <Property name="deploymentName">{{ deploymentName }}</Property>
     <Property name="flushIntervalSeconds">10</Property>
     <Property name="flushIntervalEventCount">100</Property>
   </Appender>

3. O Flink identifica automaticamente as variáveis de implantação que usam esse formato no job SQL. Você deve fornecer valores para essas variáveis.

   • Método 1: O painel Job Variables aparece no editor SQL. Insira os valores nesse painel.

     No painel Job Variables, configure os pares chave-valor: source_name=datagen, test_name=name e blackhole=blackhole.

   • Método 2: Clique em More Configurations no lado direito. Insira os valores na seção Job Variables.

     Por exemplo, configure a variável source_name como datagen, test_name como name e blackhole como blackhole. Em seguida, você pode referenciar esses valores no seu código SQL usando a sintaxe ${variable_name}.

4. Após a implantação do job, visualize suas variáveis na guia Deployment Details da página de detalhes do job, em Deployments.

   Nas propriedades do job, a linha Job Variables exibe as variáveis configuradas (como source_name, test_name e blackhole) e seus respectivos valores.

5. Clique em Start na coluna Actions do job de destino. Modifique os valores das variáveis no painel de inicialização do job.

   Importante

   As alterações feitas nos valores das variáveis no painel de inicialização do job aplicam-se apenas à execução atual do job. Elas não alteram os valores definidos no job SQL.

   No painel de inicialização do job, selecione o modo stateless start ou stateful start. Se você selecionar a inicialização com estado, poderá configurar opções de recuperação, como Recover from latest state. A seção Job Variables exibe as variáveis e seus valores padrão, como source_name definido como datagen, test_name como name e blackhole como blackhole. Modifique-os conforme necessário e clique em Start.

Implantação JAR/Python

Você pode usar variáveis como argumentos para a função principal em implantações JAR/Python.

Criar uma variável

1. Faça login no console do Realtime Compute for Apache Flink. Encontre o workspace de destino e clique em Console na coluna Actions.

2. No painel de navegação à esquerda, clique em Security > Variables e clique em Add Variable.

   Parâmetro	Descrição
   Variable Name	O nome da variável deve ser exclusivo dentro do namespace e não pode ser alterado após a criação.
   Variable Value	Os valores das variáveis diferenciam maiúsculas de minúsculas. O valor pode ser modificado após a criação. Para obter detalhes, consulte {{XREF_7}}.
   Type (Plaintext/Ciphertext)	O tipo não pode ser alterado após a criação. Plaintext: O valor da variável fica diretamente visível na página Variables. Ciphertext: O valor da variável fica oculto. Após a criação da variável, você pode visualizar seu nome, tipo, valor e hora de criação na lista da página Variables. Você também pode selecionar Edit ou Delete para a variável.

3. Clique em OK.

Usar uma variável

Após criar uma variável, você pode referenciá-la usando o formato ${secret_values.variable_name}. Substitua "variable_name" pelo nome da sua variável.

<Appender name="SLS" type="SLS">
  <Layout pattern="%d{yyyy-MM-dd HH:mm:ss,SSS}{GMT+8} %-5p %-60c %x - %m%n" type="PatternLayout" charset="UTF-8"/>  
  <!-- The final effective log path is: ${baseUri}/logs/${namespace}/${deploymentId}/{jobId}/ -->
  <Property name="namespace">{{ namespace }}</Property> <!-- Do not modify this line -->
  <Property name="project">YOUR-SLS-PROJECT</Property>  
  <Property name="logStore">YOUR-SLS-LOGSTORE</Property> 
  <Property name="endpoint">YOUR-SLS-ENDPOINT</Property> 
  <Property name="accessKeyId">${secret_values.accessKeyId}</Property> 
  <Property name="accessKeySecret">${secret_values.accessKeySecret}</Property> 
  <Property name="topic">{{ namespace }}:{{ deploymentId }}:{{ jobId }}</Property>
  <Property name="deploymentName">{{ deploymentName }}</Property>
  <Property name="flushIntervalSeconds">10</Property>
  <Property name="flushIntervalEventCount">100</Property>
</Appender>

<Appender name="SLS" type="SLS">
  <Layout pattern="%d{yyyy-MM-dd HH:mm:ss,SSS}{GMT+8} %-5p %-60c %x - %m%n" type="PatternLayout" charset="UTF-8"/>  
  <!-- The final effective log path is: ${baseUri}/logs/${namespace}/${deploymentId}/{jobId}/ -->
  <Property name="namespace">{{ namespace }}</Property> <!-- Do not modify this line -->
  <Property name="project">YOUR-SLS-PROJECT</Property>  
  <Property name="logStore">YOUR-SLS-LOGSTORE</Property> 
  <Property name="endpoint">YOUR-SLS-ENDPOINT</Property> 
  <Property name="accessKeyId">${secret_values.accessKeyId}</Property> 
  <Property name="accessKeySecret">${secret_values.accessKeySecret}</Property> 
  <Property name="topic">{{ namespace }}:{{ deploymentId }}:{{ jobId }}</Property>
  <Property name="deploymentName">{{ deploymentName }}</Property>
  <Property name="flushIntervalSeconds">10</Property>
  <Property name="flushIntervalEventCount">100</Property>
</Appender>

<Appender name="SLS" type="SLS">
  <Layout pattern="%d{yyyy-MM-dd HH:mm:ss,SSS}{GMT+8} %-5p %-60c %x - %m%n" type="PatternLayout" charset="UTF-8"/>  
  <!-- The final effective log path is: ${baseUri}/logs/${namespace}/${deploymentId}/{jobId}/ -->
  <Property name="namespace">{{ namespace }}</Property> <!-- Do not modify this line -->
  <Property name="project">YOUR-SLS-PROJECT</Property>  
  <Property name="logStore">YOUR-SLS-LOGSTORE</Property> 
  <Property name="endpoint">YOUR-SLS-ENDPOINT</Property> 
  <Property name="accessKeyId">${secret_values.accessKeyId}</Property> 
  <Property name="accessKeySecret">${secret_values.accessKeySecret}</Property> 
  <Property name="topic">{{ namespace }}:{{ deploymentId }}:{{ jobId }}</Property>
  <Property name="deploymentName">{{ deploymentName }}</Property>
  <Property name="flushIntervalSeconds">10</Property>
  <Property name="flushIntervalEventCount">100</Property>
</Appender>

Editar ou excluir uma variável

1. Faça login no console do Realtime Compute for Apache Flink. Encontre o workspace de destino e clique em Console na coluna Actions.

2. No painel de navegação à esquerda, clique em Security > Variables. Encontre a variável de destino e clique em Edit ou Delete na coluna Actions.

   • Editar

     Você pode alterar o valor de uma variável. Apenas membros com permissões de editor ou superiores podem editar variáveis.

   • Excluir

     Apenas membros com permissões de editor ou superiores, ou membros com a permissão específica para excluir variáveis, podem excluir variáveis.