Realtime Compute for Apache Flink:Manage StarRocks catalogs

UI

1. Buka halaman Catalogs.

   1. Login ke Realtime Compute for Apache Flink console. Di daftar ruang kerja, temukan ruang kerja target Anda dan klik Console di kolom Actions.

   2. Di panel navigasi sebelah kiri, klik Catalogs.

2. Klik Create Catalog, pilih StarRocks, lalu klik Next.

3. Konfigurasikan parameter.

   Penting

   Setelah dibuat, parameter katalog tidak dapat diubah. Untuk mengubah konfigurasi, Anda harus menghapus dan membuat ulang katalog tersebut.

   Parameter	Description	Required	Notes
   catalog name	Nama katalog StarRocks.	Yes	Nama hanya boleh terdiri dari huruf kecil (a-z) dan angka (0-9). Huruf kapital, tanda hubung (-), garis bawah (_), dan karakter khusus lainnya tidak diperbolehkan.
   endpoint	Titik akhir frontend (FE) StarRocks.	Yes	Tentukan alamat IP dan port JDBC FE dalam format jdbc:mysql://ip:port. Port umumnya adalah 9030.
   dbname	Database default yang akan diakses di StarRocks.	Yes	N/A
   username	Username untuk mengakses StarRocks.	Yes	N/A
   password	Password untuk mengakses StarRocks.	Yes	Untuk mencegah eksposur kredensial, kami merekomendasikan penggunaan variable.

4. Klik Confirm.

5. Di panel kiri Catalogs, lihat katalog yang telah Anda buat.

SQL

1. Di editor teks pada halaman Scripts, masukkan perintah untuk membuat katalog StarRocks.

   CREATE CATALOG <catalogname> WITH (
     'type' = 'starrocks',
     'endpoint' = '<ip>:<port>', 
     'username' = '<userName>',
     'password' = '<password>',
     'dbname' = '<dbname>'
   );

   VVR 11 or later

   Parameter	Description	Required	Notes
   catalogname	Nama katalog StarRocks.	Yes	Nama hanya boleh terdiri dari huruf kecil (a-z) dan angka (0-9). Huruf kapital, tanda hubung (-), garis bawah (_), dan karakter khusus lainnya tidak diperbolehkan.
   type	Jenis katalog.	Yes	Nilainya tetap starrocks.
   endpoint	Titik akhir FE StarRocks.	No	Tentukan alamat IP dan port JDBC FE dalam format jdbc:mysql://ip:port. Port biasanya adalah 9030.
   jdbc-url	URL yang digunakan untuk mengakses server MySQL pada node FE.	No	Pisahkan beberapa alamat dengan koma (,). Format: jdbc:mysql://<fe_host1>:<fe_query_port1>,<fe_host2>:<fe_query_port2>. Penting Anda dapat mengonfigurasi parameter endpoint atau kedua parameter jdbc-url dan http-url. Kedua metode memberikan hasil yang sama.
   http-url	URL yang digunakan untuk mengakses server HTTP pada node FE.	No	Gunakan titik koma (;) untuk memisahkan beberapa alamat. Format: <fe_host1>:<fe_http_port1>;<fe_host2>:<fe_http_port2>. Penting Anda dapat mengonfigurasi parameter endpoint atau kedua parameter jdbc-url dan http-url. Kedua metode memberikan hasil yang sama.
   username	Username untuk mengakses StarRocks.	Yes	N/A
   password	Password untuk mengakses StarRocks.	Yes	Untuk mencegah eksposur kredensial, kami merekomendasikan penggunaan variable.
   dbname	Database default yang akan diakses di StarRocks.	No	N/A
   default-database	Database default yang akan diakses di StarRocks.	No	Parameter ini kompatibel dengan versi komunitas dan memiliki efek yang sama dengan dbname. Anda dapat menggunakan salah satu parameter tersebut.
   table.num-buckets	Jumlah bucket default untuk setiap partisi pada tabel yang dibuat menggunakan katalog.	No	Tidak ada nilai default.
   table.char-expand-multiple	Pengali panjang kolom varchar dan char pada tabel yang dibuat menggunakan katalog, relatif terhadap tabel sumber.	No	Pengali default adalah 4.
   table.binary-padding	Jumlah karakter yang ditambahkan ke panjang kolom varbinary dan binary pada tabel yang dibuat menggunakan katalog, relatif terhadap tabel sumber.	No	Nilai default adalah 2.
   table.key-type	Jenis tabel yang akan dibuat menggunakan katalog.	No	Nilai yang valid: PRI: primary key table UNI: unique key table AGG: aggregate table DUP: duplicate key table Nilai default: PRI.
   table.keys	Kolom kunci dari tabel yang dibuat menggunakan katalog.	No	Tidak ada nilai default.
   table.distribution-keys	Kolom distribusi (bucket keys) dari tabel yang dibuat menggunakan katalog.	No	Jika parameter ini tidak ditentukan, tabel primary key menggunakan primary key sebagai bucket key secara default. Penting Jangan atur parameter ini menjadi string kosong (''). Jika tidak, tabel primary key mungkin gagal dengan error Distribution column() doesn't exist karena bucket key-nya kosong. Untuk menggunakan primary key sebagai bucket key, biarkan parameter ini tidak diatur.
   table.enable-null-primary-key	Menentukan apakah kolom nullable dari sumber dapat dipetakan sebagai kolom kunci primer di StarRocks.	No	Nilai yang valid: false (default) true Penting Mengatur parameter ini ke true memaksa Flink untuk memperlakukan kolom kunci primer nullable di StarRocks sebagai non-nullable. Pastikan bahwa data input hulu tidak berisi nilai NULL untuk mencegah kehilangan data atau error.

   VVR 8 or earlier

   Parameter	Description	Required	Notes
   catalogname	Nama katalog StarRocks.	Yes	Nama hanya boleh terdiri dari huruf kecil (a-z) dan angka (0-9). Huruf kapital, tanda hubung (-), garis bawah (_), dan karakter khusus lainnya tidak diperbolehkan.
   type	Jenis katalog.	Yes	Nilainya tetap starrocks.
   endpoint	Titik akhir FE StarRocks.	Yes	Tentukan alamat IP dan port JDBC FE dalam format jdbc:mysql://ip:port. Port biasanya adalah 9030.
   username	Username untuk mengakses StarRocks.	Yes	N/A
   password	Password untuk mengakses StarRocks.	Yes	Untuk mencegah eksposur kredensial, kami merekomendasikan penggunaan variable.
   dbname	Database default yang akan diakses di StarRocks.	Yes	N/A

2. Pilih pernyataan CREATE CATALOG dan klik Run di sebelah nomor baris di sebelah kiri.

   CREATE CATALOG starrocks WITH (
       'type' = 'starrocks',
       'endpoint' = '<ip>:<port>',
       'username' = '<userName>',
       'password' = '<password>',
       'dbname' = '<dbname>'
   );

Read data from a StarRocks table

INSERT INTO ${other_sink_table}
SELECT ...
FROM `${catalog_name}`.`${db_name}`.`${table_name}`

INSERT INTO ${other_sink_table}
SELECT ...
FROM `${catalog_name}`.`${db_name}`.`${table_name}`
    /*+
        OPTIONS('connector' = 'starrocks', 'jdbc-url' = 'jdbc:mysql://ip:port', 'scan-url' = 'ip:port')
    */

Write data to a StarRocks table

INSERT INTO `${catalog_name}`.`${db_name}`.`${table_name}`
SELECT ... 
FROM ${other_source_table}

INSERT INTO `${catalog_name}`.`${db_name}`.`${table_name}`
 /*+
        OPTIONS('connector' = 'starrocks', 'jdbc-url' = 'jdbc:mysql://ip:port', 'load-url' = 'ip:port', 'sink.buffer-flush.interval-ms' = '5000','sink.properties.row_delimiter' = '\x02',
'sink.properties.column_separator' = '\x01')
    */
SELECT ... 
FROM ${other_source_table}

CTAS and CDAS target

use catalog sr_catalog;
CREATE TABLE IF NOT EXISTS `${table_name}`
WITH (
  ...
) AS TABLE ${other_source_table};
CREATE DATABASE IF NOT EXISTS `${db_name}`
WITH (
 ...
) AS DATABASE ${other_source_database};

Untuk informasi selengkapnya, lihat Use CTAS to synchronize data from MySQL to StarRocks by using Realtime Compute for Apache Flink.

UI

1. Buka halaman Catalogs.

   1. Login ke Realtime Compute for Apache Flink console.

   2. Di daftar ruang kerja, temukan ruang kerja target dan klik Console di kolom Actions.

   3. Di panel navigasi sebelah kiri, klik Catalogs.

2. Di halaman Catalog List, temukan katalog target dan klik Delete di kolom Actions.

3. Di kotak dialog konfirmasi yang muncul, klik Delete.

4. Di panel kiri Catalogs, pastikan katalog target telah dihapus.

SQL

1. Di editor teks pada halaman Scripts, masukkan perintah berikut.

   DROP CATALOG `<catalog name>`;

   Di mana <catalog name> adalah nama katalog StarRocks Anda.

   Penting

   Meskipun penghapusan katalog tidak memengaruhi deployment yang sedang berjalan, hal ini dapat mengganggu deployment yang belum dipublikasikan atau yang memerlukan penangguhan dan pelanjutan. Lakukan dengan hati-hati.

2. Pilih perintah DROP CATALOG dan klik Run.

3. Di panel kiri Catalogs, pastikan katalog target telah dihapus.