Realtime Compute for Apache Flink:Gestion des variables

ETL (job SQL)

Vous pouvez utiliser des variables lors du développement de jobs SQL, y compris comme arguments pour des fonctions personnalisées. Vous pouvez également modifier les valeurs des variables au démarrage du job.

1. Dans le volet de navigation de gauche de la console Realtime Compute for Apache Flink, cliquez sur Development > ETL.

2. Dans l'éditeur SQL de votre job SQL cible, créez des variables en utilisant le format ${variable_name}, comme illustré dans l'exemple suivant.

   • Lorsqu'elle est utilisée comme paramètre dans une clause WITH, entourez la variable de guillemets simples : '${variable_name}'.

   • Lorsqu'elle est utilisée ailleurs (par exemple pour les noms de tables ou de champs SQL), entourez la variable d'accents graves : ${variable_name}.

   create temporary table `${source_name}`(
       id varchar,
       name varchar
   ) with (
       'connector' = 'datagen'
   );
   create temporary table blackhole(
       id varchar,
       `${test_name}` varchar
   ) with (
       'connector' = '${blackhole}'
   );
   insert into blackhole select * from `${source_name}`;

3. Flink identifie automatiquement les variables de déploiement utilisant ce format dans le job SQL. Vous devez fournir des valeurs pour ces variables.

   • Méthode 1 : Le panneau Job Variables s'affiche dans l'éditeur SQL. Saisissez les valeurs dans ce panneau.

     Dans le panneau Job Variables, configurez les paires clé-valeur : source_name=datagen, test_name=name et blackhole=blackhole.

   • Méthode 2 : Cliquez sur More Configurations à droite. Saisissez les valeurs dans la section Job Variables.

     Par exemple, configurez la variable source_name avec la valeur datagen, test_name avec name et blackhole avec blackhole. Vous pouvez ensuite référencer ces valeurs dans votre code SQL en utilisant la syntaxe ${variable_name}.

4. Une fois le job déployé, vous pouvez consulter ses variables dans l'onglet Deployment Details de la page des détails du job, sous Deployments.

   Dans les propriétés du job, la ligne Job Variables affiche les variables configurées (telles que source_name, test_name et blackhole) ainsi que leurs valeurs correspondantes.

5. Cliquez sur Start dans la colonne Actions pour le job cible. Vous pouvez modifier les valeurs des variables dans le panneau de démarrage du job.

   Important

   Les modifications apportées aux valeurs des variables dans le panneau de démarrage du job s'appliquent uniquement à l'exécution actuelle du job. Elles ne modifient pas les valeurs définies dans le job SQL.

   Dans le panneau de démarrage du job, vous pouvez sélectionner le mode stateless start ou stateful start. Si vous sélectionnez stateful start, vous pouvez configurer les options de récupération, telles que Recover from latest state. La section Job Variables affiche les variables et leurs valeurs par défaut, par exemple source_name défini sur datagen, test_name sur name et blackhole sur blackhole. Modifiez-les si nécessaire, puis cliquez sur Start.

Déploiement JAR/Python

Vous pouvez utiliser des variables comme arguments pour la fonction principale dans les déploiements JAR/Python.

Créer une variable

1. Connectez-vous à la console Realtime Compute for Apache Flink. Recherchez l'espace de travail cible et cliquez sur Console dans la colonne Actions.

2. Dans le volet de navigation de gauche, cliquez sur Security > Variables, puis cliquez sur Add Variable.

   Paramètre	Description
   Nom de la variable	Le nom de la variable doit être unique au sein du namespace et ne peut pas être modifié après la création.
   Valeur de la variable	Les valeurs des variables sont sensibles à la casse. La valeur peut être modifiée après la création. Pour plus de détails, consultez la section Modifier ou supprimer une variable.
   Type (Texte clair/Chiffrement)	Le type ne peut pas être modifié après la création. Texte clair : la valeur de la variable est directement visible sur la page Variables. Chiffrement : la valeur de la variable est masquée. Après la création de la variable, vous pouvez afficher son nom, son type, sa valeur et l'heure de création dans la liste de la page Variables. Vous pouvez également Edit ou Delete la variable.

3. Cliquez sur OK.

Utiliser une variable

Après avoir créé une variable, vous pouvez la référencer en utilisant le format ${secret_values.variable_name}. Remplacez « variable_name » par le nom de votre variable.

create temporary table `${secret_values.source_name}`(
    id varchar,
    name varchar
) with (
    'connector' = 'datagen'
);
create temporary table blackhole(
    id varchar,
    `${secret_values.test_name}` varchar
) with (
    'connector' = '${secret_values.blackhole}'
);
insert into blackhole select * from `${secret_values.source_name}`;

source:
  type: mysql
  name: Mysql Source
  hostname: localhost
  port: 3306
  username: test
  password: ${secret_values.mysqlpw}
  tables: app_db.\.*
  server-id: 5400-5404
···

USE CATALOG paimon;
CREATE DATABASE IF NOT EXISTS `${secret_values.test_name}`;
CREATE TABLE paimon.`${secret_values.test_name}`.ods_user_log
(
    item_id  int NOT NULL,
    `${secret_values.user}` varchar(50) NOT NULL,
    action  varchar(20)  NOT NULL,
    vtime   timestamp,
    ds      varchar(10) NOT NULL
)
PARTITIONED BY (ds);
SELECT * from paimon.`${secret_values.test_name}`.ods_user_log LIMIT 10;

Modifier ou supprimer une variable

1. Connectez-vous à la console Realtime Compute for Apache Flink. Recherchez l'espace de travail cible et cliquez sur Console dans la colonne Actions.

2. Dans le volet de navigation de gauche, cliquez sur Security > Variables. Recherchez la variable cible et cliquez sur Edit ou Delete dans la colonne Actions.

   • Modifier

     Vous pouvez modifier la valeur d'une variable. Seuls les membres disposant d'autorisations d'édition ou supérieures peuvent modifier des variables.

   • Supprimer

     Seuls les membres disposant d'autorisations d'édition ou supérieures, ou des membres ayant l'autorisation spécifique de supprimer des variables, peuvent supprimer des variables.