Realtime Compute for Apache Flink:Gerenciamento de variáveis

ETL (job SQL)

Use variáveis durante o desenvolvimento de jobs SQL, inclusive como argumentos para funções personalizadas. Também modifique os valores das variáveis ao iniciar o job.

1. No painel de navegação à esquerda do console do Realtime Compute for Apache Flink, clique em Development > ETL.

2. No editor SQL do job desejado, crie variáveis usando o formato ${variable_name}, conforme o exemplo a seguir.

   • Ao usar como parâmetro em uma cláusula WITH, coloque a variável entre aspas simples: '${variable_name}'.

   • Em outros locais (como nomes de tabelas ou campos SQL), coloque a variável entre crases: ${variable_name}.

   create temporary table `${source_name}`(
       id varchar,
       name varchar
   ) with (
       'connector' = 'datagen'
   );
   create temporary table blackhole(
       id varchar,
       `${test_name}` varchar
   ) with (
       'connector' = '${blackhole}'
   );
   insert into blackhole select * from `${source_name}`;

3. O Flink identifica automaticamente as variáveis de implantação que utilizam esse formato no job SQL. Forneça valores para essas variáveis.

   • Método 1: O painel Job Variables aparece no editor SQL. Insira os valores nesse painel.

     No painel Job Variables, configure os pares chave-valor: source_name=datagen, test_name=name e blackhole=blackhole.

   • Método 2: Clique em More Configurations no lado direito. Insira os valores na seção Job Variables.

     Por exemplo, configure a variável source_name como datagen, test_name como name e blackhole como blackhole. Em seguida, referencie esses valores no código SQL usando a sintaxe ${variable_name}.

4. Após a implantação do job, visualize suas variáveis na aba Deployment Details da página de detalhes do job, em Deployments.

   Nas propriedades do job, a linha Job Variables exibe as variáveis configuradas (como source_name, test_name e blackhole) e seus valores correspondentes.

5. Clique em Start na coluna Actions do job desejado. Modifique os valores das variáveis no painel de inicialização do job.

   Importante

   As alterações nos valores das variáveis feitas no painel de inicialização do job aplicam-se apenas à execução atual. Elas não alteram os valores definidos no job SQL.

   No painel de inicialização do job, selecione o modo stateless start ou stateful start. Se escolher a inicialização com estado, configure as opções de recuperação, como Recover from latest state. A seção Job Variables exibe as variáveis e seus valores padrão, como source_name definido como datagen, test_name como name e blackhole como blackhole. Modifique-os conforme necessário e clique em Start.

Implantação JAR/Python

Use variáveis como argumentos para a função principal em implantações JAR/Python.

Criar uma variável

1. Faça login no console do Realtime Compute for Apache Flink. Localize o workspace desejado e clique em Console na coluna Actions.

2. No painel de navegação à esquerda, clique em Security > Variables e clique em Add Variable.

   Parâmetro	Descrição
   Variable Name	O nome da variável deve ser exclusivo dentro do namespace e não pode ser alterado após a criação.
   Variable Value	Os valores das variáveis diferenciam maiúsculas de minúsculas. O valor pode ser modificado após a criação. Para detalhes, consulte Edit or delete a variable.
   Type (Plaintext/Ciphertext)	O tipo não pode ser alterado após a criação. Plaintext: O valor da variável fica diretamente visível na página Variables. Ciphertext: O valor da variável permanece oculto. Após a criação da variável, visualize seu nome, tipo, valor e hora de criação na lista da página Variables. Também edite (Edit) ou exclua (Delete) a variável.

3. Clique em OK.

Usar uma variável

Após criar uma variável, referencie-a usando o formato ${secret_values.variable_name}. Substitua "variable_name" pelo nome da sua variável.

create temporary table `${secret_values.source_name}`(
    id varchar,
    name varchar
) with (
    'connector' = 'datagen'
);
create temporary table blackhole(
    id varchar,
    `${secret_values.test_name}` varchar
) with (
    'connector' = '${secret_values.blackhole}'
);
insert into blackhole select * from `${secret_values.source_name}`;

source:
  type: mysql
  name: Mysql Source
  hostname: localhost
  port: 3306
  username: test
  password: ${secret_values.mysqlpw}
  tables: app_db.\.*
  server-id: 5400-5404
···

USE CATALOG paimon;
CREATE DATABASE IF NOT EXISTS `${secret_values.test_name}`;
CREATE TABLE paimon.`${secret_values.test_name}`.ods_user_log
(
    item_id  int NOT NULL,
    `${secret_values.user}` varchar(50) NOT NULL,
    action  varchar(20)  NOT NULL,
    vtime   timestamp,
    ds      varchar(10) NOT NULL
)
PARTITIONED BY (ds);
SELECT * from paimon.`${secret_values.test_name}`.ods_user_log LIMIT 10;

Editar ou excluir uma variável

1. Faça login no console do Realtime Compute for Apache Flink. Localize o workspace desejado e clique em Console na coluna Actions.

2. No painel de navegação à esquerda, clique em Security > Variables. Localize a variável desejada e clique em Edit ou Delete na coluna Actions.

   • Editar

     Altere o valor de uma variável. Apenas membros com permissões de editor ou superiores podem editar variáveis.

   • Excluir

     Apenas membros com permissões de editor ou superiores, ou membros com permissão específica para excluir variáveis, podem excluir variáveis.