Realtime Compute for Apache Flink:Manajemen variabel

ETL (SQL job)

Anda dapat menggunakan variabel selama pengembangan pekerjaan SQL, termasuk sebagai argumen untuk fungsi kustom. Anda juga dapat mengubah nilai variabel saat memulai pekerjaan.

1. Di panel navigasi sebelah kiri Konsol Realtime Compute for Apache Flink, klik Development > ETL.

2. Di editor SQL untuk pekerjaan SQL target Anda, buat variabel menggunakan format ${variable_name}, seperti pada contoh berikut.

   • Saat digunakan sebagai parameter dalam klausa WITH, sertakan variabel dalam tanda kutip tunggal: '${variable_name}'.

   • Saat digunakan di lokasi lain (misalnya untuk nama tabel atau field SQL), sertakan variabel dalam backtick: `${variable_name}`.

   create temporary table `${source_name}`(
       id varchar,
       name varchar
   ) with (
       'connector' = 'datagen'
   );
   create temporary table blackhole(
       id varchar,
       `${test_name}` varchar
   ) with (
       'connector' = '${blackhole}'
   );
   insert into blackhole select * from `${source_name}`;

3. Flink secara otomatis mengenali variabel deployment yang menggunakan format ini dalam pekerjaan SQL. Anda harus memberikan nilai untuk variabel-variabel tersebut.

   • Metode 1: Panel Job Variables muncul di editor SQL. Masukkan nilai-nilai tersebut di panel ini.

     Di panel Job Variables, konfigurasikan pasangan kunci-nilai: source_name=datagen, test_name=name, dan blackhole=blackhole.

   • Metode 2: Klik More Configurations di sisi kanan. Masukkan nilai-nilai tersebut di bagian Job Variables.

     Misalnya, konfigurasikan variabel source_name sebagai datagen, test_name sebagai name, dan blackhole sebagai blackhole. Anda kemudian dapat mereferensikan nilai-nilai ini dalam kode SQL Anda dengan menggunakan sintaks ${variable_name}.

4. Setelah pekerjaan diterapkan, Anda dapat melihat variabelnya di tab Deployment Details pada halaman detail pekerjaan di bawah Deployments.

   Di properti pekerjaan, baris Job Variables menampilkan variabel yang dikonfigurasi (seperti source_name, test_name, dan blackhole) beserta nilai-nilainya.

5. Klik Start di kolom Actions untuk pekerjaan target. Anda dapat mengubah nilai variabel di panel startup pekerjaan.

   Penting

   Perubahan yang dilakukan pada nilai variabel di panel startup pekerjaan hanya berlaku untuk eksekusi pekerjaan saat ini. Perubahan tersebut tidak mengubah nilai yang ditetapkan dalam pekerjaan SQL.

   Di panel startup pekerjaan, Anda dapat memilih mode stateless start atau stateful start. Jika Anda memilih stateful start, Anda dapat mengonfigurasi opsi pemulihan, seperti Recover from latest state. Bagian Job Variables menampilkan variabel dan nilai default-nya, seperti source_name diatur ke datagen, test_name ke name, dan blackhole ke blackhole. Anda dapat mengubahnya sesuai kebutuhan lalu klik Start.

JAR/Python deployment

Anda dapat menggunakan variabel sebagai argumen untuk fungsi utama dalam deployment JAR/Python.

Buat variabel

1. Login ke Konsol Realtime Compute for Apache Flink. Temukan ruang kerja target dan klik Console di kolom Actions.

2. Di panel navigasi sebelah kiri, klik Security > Variables, lalu klik Add Variable.

   Parameter	Deskripsi
   Variable Name	Nama variabel harus unik dalam namespace dan tidak dapat diubah setelah dibuat.
   Variable Value	Nilai variabel bersifat case-sensitive. Nilai dapat diubah setelah pembuatan. Untuk detailnya, lihat Edit or delete a variable.
   Type (Plaintext/Ciphertext)	Tipe tidak dapat diubah setelah pembuatan. Plaintext: Nilai variabel langsung terlihat di halaman Variables. Ciphertext: Nilai variabel disembunyikan. Setelah variabel dibuat, Anda dapat melihat nama, tipe, nilai, dan waktu pembuatannya dalam daftar di halaman Variables. Anda juga dapat Edit atau Delete variabel tersebut.

3. Klik OK.

Gunakan variabel

Setelah membuat variabel, Anda dapat mereferensikannya menggunakan format ${secret_values.variable_name}. Ganti "variable_name" dengan nama variabel Anda.

create temporary table `${secret_values.source_name}`(
    id varchar,
    name varchar
) with (
    'connector' = 'datagen'
);
create temporary table blackhole(
    id varchar,
    `${secret_values.test_name}` varchar
) with (
    'connector' = '${secret_values.blackhole}'
);
insert into blackhole select * from `${secret_values.source_name}`;

source:
  type: mysql
  name: Mysql Source
  hostname: localhost
  port: 3306
  username: test
  password: ${secret_values.mysqlpw}
  tables: app_db.\.*
  server-id: 5400-5404
···

USE CATALOG paimon;
CREATE DATABASE IF NOT EXISTS `${secret_values.test_name}`;
CREATE TABLE paimon.`${secret_values.test_name}`.ods_user_log
(
    item_id  int NOT NULL,
    `${secret_values.user}` varchar(50) NOT NULL,
    action  varchar(20)  NOT NULL,
    vtime   timestamp,
    ds      varchar(10) NOT NULL
)
PARTITIONED BY (ds);
SELECT * from paimon.`${secret_values.test_name}`.ods_user_log LIMIT 10;

Edit atau hapus variabel

1. Login ke Konsol Realtime Compute for Apache Flink. Temukan ruang kerja target dan klik Console di kolom Actions.

2. Di panel navigasi sebelah kiri, klik Security > Variables. Temukan variabel target dan klik Edit atau Delete di kolom Actions.

   • Edit

     Anda dapat mengubah nilai variabel. Hanya anggota dengan izin editor atau lebih tinggi yang dapat mengedit variabel.

   • Delete

     Hanya anggota dengan izin editor atau lebih tinggi, atau anggota dengan izin khusus untuk menghapus variabel, yang dapat menghapus variabel.