Realtime Compute for Apache Flink:変数の管理

データ開発での変数の参照

Realtime Compute for Apache Flink コンソールの [開発] モジュールで名前空間変数を参照できます。

create temporary table `${secret_values.source_name}`(
    id varchar,
    name varchar
) with (
    'connector' = 'datagen'
);


create temporary table blackhole(
    id varchar,
    `${secret_values.test_name}` varchar
) with (
    'connector' = '${secret_values.blackhole}'
);

insert into blackhole select * from `${secret_values.source_name}`;

source:
  type: mysql
  name: Mysql Source
  hostname: localhost
  port: 3306
  username: test
  password: ${secret_values.mysqlpw}
  tables: app_db.\.*
  server-id: 5400-5404

···

USE CATALOG paimon;

CREATE DATABASE IF NOT EXISTS `${secret_values.test_name}`;

CREATE TABLE paimon.`${secret_values.test_name}`.ods_user_log
(
    item_id  int NOT NULL,
    `${secret_values.user}` varchar(50) NOT NULL,
    action  varchar(20)  NOT NULL,
    vtime   timestamp,
    ds      varchar(10) NOT NULL
)
PARTITIONED BY (ds);

SELECT * from paimon.`${secret_values.test_name}`.ods_user_log LIMIT 10;

JAR または Python デプロイメントでの変数の参照

JAR または Python デプロイメントの Main 関数で、変数を入力パラメーターとして使用できます。

1. Realtime Compute for Apache Flink の開発コンソールで、[O&M] > [デプロイメント] を選択します。[デプロイメント] ページで、[デプロイメントの作成] をクリックします。

2. [エントリポイントのメイン引数] フィールドに変数名を入力します。次の図は構成を示しています。

   

   その他のデプロイメントパラメーターの詳細については、「デプロイメントを作成する」をご参照ください。

3. [デプロイ] をクリックします。

デプロイメントのパラメーター構成での変数の参照

デプロイメントのパラメーター構成で変数を使用できます。

1. Realtime Compute for Apache Flink の開発コンソールで、[O&M] > [デプロイメント] を選択します。[デプロイメント] ページで、管理するデプロイメントをクリックします。

2. [構成] タブで、[パラメーター] セクションの右上隅にある [編集] をクリックし、パラメーターを構成します。変数をパラメーター値として使用できます。次の図は構成を示しています。

   

3. [保存] をクリックします。

[ログ] セクションでの変数の参照

1. [ログ] セクションに移動します。

   • デプロイメントのログをエクスポートするためのパラメーターを構成する方法の詳細については、「デプロイメントのログをエクスポートするためのパラメーターを構成する」をご参照ください。

   • 名前空間内のすべてのデプロイメントのログをエクスポートするためのパラメーターを構成する方法の詳細については、「名前空間内のすべてのデプロイメントのログをエクスポートするためのパラメーターを構成する」をご参照ください。

2. [ログ] セクションで変数を参照します。

   次の例では、accessKeyId と accessKeySecret という名前の変数を使用して、デプロイメントのログを Simple Log Service にエクスポートします。完全な構成の詳細については、「デプロイメントのログをエクスポートするためのパラメーターを構成する」をご参照ください。

   <Appender name="SLS" type="SLS">
     <Layout pattern="%d{yyyy-MM-dd HH:mm:ss,SSS}{GMT+8} %-5p %-60c %x - %m%n" type="PatternLayout" charset="UTF-8"/>  
   
     <!-- 最終的な有効なログパスは、${baseUri}/logs/${namespace}/${deploymentId}/{jobId}/ です。 -->
     <Property name="namespace">{{ namespace }}</Property> <!-- この行は変更しないでください -->
     <Property name="project">YOUR-SLS-PROJECT</Property>  
     <Property name="logStore">YOUR-SLS-LOGSTORE</Property> 
     <Property name="endpoint">YOUR-SLS-ENDPOINT</Property> 
     <Property name="accessKeyId">${secret_values.accessKeyId}</Property> 
     <Property name="accessKeySecret">${secret_values.accessKeySecret}</Property> 
     <Property name="topic">{{ namespace }}:{{ deploymentId }}:{{ jobId }}</Property>
     <Property name="deploymentName">{{ deploymentName }}</Property>
     <Property name="flushIntervalSeconds">10</Property>
     <Property name="flushIntervalEventCount">100</Property>
   </Appender>

UI ベースのパラメーター構成での変数の参照

Realtime Compute for Apache Flink の開発コンソールでカタログを作成する場合、構成項目で変数を参照できます。

1. Realtime Compute for Apache Flink の開発コンソールで、左側のナビゲーションウィンドウの [カタログ] をクリックします。

2. [カタログの作成] ダイアログボックスで変数を参照します。この例では、MySQL カタログを作成するときに、mysqlpassword という名前の変数がパスワードパラメーターに使用されています。