Realtime Compute for Apache Flink:変数管理

ETL（SQL ジョブ）

SQL ジョブの開発時に変数を使用できます。カスタム関数の引数としても使用できます。また、ジョブの起動時に変数値を変更することもできます。

1. Realtime Compute for Apache Flink コンソールのナビゲーションペインで、[Development] > [ETL] をクリックします。

2. 目的の SQL ジョブの SQL エディターで、次の例のように ${variable_name} 形式を使用して変数を作成します。

   • WITH 句のパラメーターとして使用する場合は、変数をシングルクォーテーションで囲みます：'${variable_name}'。

   • その他の箇所（SQL テーブル名やフィールド名など）で使用する場合は、変数をバッククォートで囲みます：`${variable_name}`。

   create temporary table `${source_name}`(
       id varchar,
       name varchar
   ) with (
       'connector' = 'datagen'
   );
   create temporary table blackhole(
       id varchar,
       `${test_name}` varchar
   ) with (
       'connector' = '${blackhole}'
   );
   insert into blackhole select * from `${source_name}`;

3. Flink は、SQL ジョブ内でこの形式を使用するデプロイメント変数を自動的に識別します。これらの変数に値を指定します。

   • 方法 1：SQL エディターに [Job Variables] パネルが表示されます。このパネルで値を入力します。

     [Job Variables] パネルで、キーと値のペアを設定します：source_name=datagen、test_name=name、blackhole=blackhole。

   • 方法 2：右側の [More Configurations] をクリックします。[Job Variables] セクションで値を入力します。

     たとえば、変数 source_name を datagen、test_name を name、blackhole を blackhole として設定します。その後、${variable_name} 構文を使用して、これらの値を SQL コード内で参照できます。

4. ジョブのデプロイ後、[Deployments] 配下のジョブ詳細ページにある [Deployment Details] タブで変数を確認できます。

   ジョブプロパティでは、[Job Variables] 行に設定済みの変数（source_name、test_name、blackhole など）と対応する値が表示されます。

5. 目的のジョブの [Actions] 列で [Start] をクリックします。ジョブ起動パネルで変数値を変更できます。

   重要

   ジョブ起動パネルで変更した変数値は、現在のジョブ実行にのみ適用されます。SQL ジョブで定義されている値は変更されません。

   ジョブ起動パネルでは、ステートレス起動 または ステートフル起動 モードを選択できます。ステートフル起動を選択した場合は、最新の状態から復元 などの復元オプションを設定できます。[Job Variables] セクションには、変数と既定値（source_name が datagen、test_name が name、blackhole が blackhole など）が表示されます。必要に応じて変更し、[Start] をクリックします。

JAR/Python デプロイメント

JAR/Python デプロイメントでは、main 関数の引数として変数を使用できます。

変数の作成

1. Realtime Compute for Apache Flink コンソールにログインします。目的のワークスペースを見つけ、[Actions] 列の [Console] をクリックします。

2. ナビゲーションペインで、[Security] > [Variables] をクリックし、[Add Variable] をクリックします。

   パラメーター	説明
   変数名	変数名は名前空間内で一意である必要があります。作成後に変更はできません。
   変数値	変数値は大文字と小文字が区別されます。値は作成後に変更できます。詳細については、「変数の編集または削除」をご参照ください。
   タイプ（プレーンテキスト/暗号文）	タイプは作成後に変更できません。 プレーンテキスト：変数値は [Variables] ページで直接表示されます。 暗号文：変数値は非表示になります。 変数の作成後、[Variables] ページのリストで、名前、タイプ、値、作成時刻を確認できます。また、変数を [Edit] または [Delete] できます。

3. [OK] をクリックします。

変数の使用

変数を作成した後、${secret_values.variable_name} 形式で参照できます。"variable_name" を作成した変数名に置き換えてください。

create temporary table `${secret_values.source_name}`(
    id varchar,
    name varchar
) with (
    'connector' = 'datagen'
);
create temporary table blackhole(
    id varchar,
    `${secret_values.test_name}` varchar
) with (
    'connector' = '${secret_values.blackhole}'
);
insert into blackhole select * from `${secret_values.source_name}`;

source:
  type: mysql
  name: Mysql Source
  hostname: localhost
  port: 3306
  username: test
  password: ${secret_values.mysqlpw}
  tables: app_db.\.*
  server-id: 5400-5404
···

USE CATALOG paimon;
CREATE DATABASE IF NOT EXISTS `${secret_values.test_name}`;
CREATE TABLE paimon.`${secret_values.test_name}`.ods_user_log
(
    item_id  int NOT NULL,
    `${secret_values.user}` varchar(50) NOT NULL,
    action  varchar(20)  NOT NULL,
    vtime   timestamp,
    ds      varchar(10) NOT NULL
)
PARTITIONED BY (ds);
SELECT * from paimon.`${secret_values.test_name}`.ods_user_log LIMIT 10;

変数の編集または削除

1. Realtime Compute for Apache Flink コンソールにログインします。目的のワークスペースを見つけ、[Actions] 列の [Console] をクリックします。

2. ナビゲーションペインで、[Security] > [Variables] をクリックします。目的の変数を見つけ、[Actions] 列で [Edit] または [Delete] をクリックします。

   • 編集

     変数の値を変更できます。変数を編集できるのは、編集者以上の権限を持つメンバーのみです。

   • 削除

     変数を削除できるのは、編集者以上の権限を持つメンバー、または変数削除の特定権限を持つメンバーのみです。