Realtime Compute for Apache Flink：Kelola katalog StarRocks

Gunakan UI

1. Buka halaman Data Management.

   1. Login ke Konsol Realtime Compute for Apache Flink. Temukan ruang kerja yang ingin Anda kelola, lalu pada kolom Actions, klik Console.

   2. Klik Data Management.

2. Klik Create Catalog, lalu pilih StarRocks dan klik Next.

3. Konfigurasikan parameter berikut.

   Penting

   Pengaturan ini tidak dapat diubah setelah katalog dibuat. Untuk mengubah pengaturan, Anda harus menghapus katalog tersebut dan membuatnya kembali.

   

   Parameter	Deskripsi	Diperlukan	Catatan
   nama katalog	Nama katalog StarRocks.	Ya	Nama hanya boleh terdiri dari huruf kecil (a-z) dan angka (0-9). Tidak boleh mengandung huruf kapital atau karakter khusus seperti tanda hubung (-) dan garis bawah (_).
   titik akhir	Titik akhir StarRocks Front End (FE).	Ya	Tentukan alamat IP dan Port Java Database Connectivity (JDBC) FE. Gunakan format jdbc:mysql://ip:port. Port biasanya 9030.
   dbname	Nama database StarRocks default yang akan diakses.	Ya	Tidak ada.
   username	Username untuk mengakses StarRocks.	Ya	Tidak ada.
   password	Password untuk mengakses StarRocks.	Ya	Untuk mencegah kebocoran password, gunakan variabel alih-alih password dalam teks biasa. Untuk informasi selengkapnya, lihat Project variables.

4. Klik Confirm.

5. Di area Metadata sebelah kiri, Anda dapat melihat katalog yang telah dibuat.

Gunakan perintah SQL

1. Pada editor teks di halaman Data Query, masukkan perintah untuk membuat katalog StarRocks.

   CREATE CATALOG <catalogname> WITH (
     'type' = 'starrocks',
     'endpoint' = '<ip>:<port>', 
     'username' = '<userName>',
     'password' = '<password>',
     'dbname' = '<dbname>'
   );

   VVR 11 dan versi yang lebih baru

   Parameter	Deskripsi	Wajib	Catatan
   catalogname	Nama katalog StarRocks.	Ya	Nama hanya boleh terdiri dari huruf kecil (a-z) dan angka (0-9). Tidak boleh mengandung huruf kapital atau karakter khusus seperti tanda hubung (-) dan garis bawah (_).
   type	Jenis katalog.	Ya	Atur nilainya ke starrocks.
   endpoint	Titik akhir StarRocks FE.	Tidak	Tentukan alamat IP dan port JDBC FE. Gunakan format jdbc:mysql://ip:port. Port biasanya 9030.
   jdbc-url	URL untuk mengakses server MySQL pada node FE.	Tidak	Pisahkan beberapa alamat dengan koma (,). Format: jdbc:mysql://<fe_host1>:<fe_query_port1>,<fe_host2>:<fe_query_port2>. Penting Anda dapat mengonfigurasi jdbc-url dan http-url bersamaan, atau hanya mengonfigurasi parameter endpoint. Kedua metode memberikan hasil yang sama. Pilih salah satu opsi.
   http-url	URL untuk mengakses server HTTP pada node FE.	Tidak	Pisahkan beberapa alamat dengan titik koma (;). Format: <fe_host1>:<fe_http_port1>;<fe_host2>:<fe_http_port2>. Penting Anda dapat mengonfigurasi jdbc-url dan http-url bersamaan, atau hanya mengonfigurasi parameter endpoint. Kedua metode memberikan hasil yang sama. Pilih salah satu opsi.
   username	Username untuk mengakses StarRocks.	Ya	Tidak ada.
   password	Password untuk mengakses StarRocks.	Ya	Untuk mencegah kebocoran password, gunakan variabel alih-alih password dalam teks biasa. Untuk informasi selengkapnya, lihat Project variables.
   dbname	Nama database StarRocks default yang akan diakses.	Tidak	Tidak ada.
   default-database	Nama database StarRocks default yang akan diakses.	Tidak	Parameter ini kompatibel dengan edisi komunitas dan memiliki efek yang sama dengan dbname. Gunakan salah satu saja.
   table.num-buckets	Jumlah bucket default untuk setiap partisi dalam tabel yang dibuat melalui katalog.	Tidak	Tidak ada nilai default.
   table.char-expand-multiple	Faktor pengali untuk memperluas panjang tipe varchar dan char pada tabel yang dibuat melalui katalog, relatif terhadap tabel sumber.	Tidak	Faktor default adalah 4.
   table.binary-padding	Jumlah karakter yang ditambahkan ke panjang tipe varbinary dan binary pada tabel yang dibuat melalui katalog, relatif terhadap tabel sumber.	Tidak	Secara default, ditambahkan 2 karakter.
   table.key-type	Jenis tabel yang akan dibuat melalui katalog.	Tidak	Nilai yang valid: PRI: Primary key table. UNI: Unique key table. AGG: Aggregate table. DUP: Duplicate key table. Nilai default adalah PRI.
   table.keys	Bidang kunci untuk tabel yang dibuat melalui katalog.	Tidak	Tidak ada nilai default.
   table.distribution-keys	Bidang kunci distribusi untuk tabel yang dibuat melalui katalog.	Tidak	Tidak ada nilai default.
   table.enable-null-primary-key	Mengizinkan pemetaan kolom nullable downstream ke kunci primer.	Tidak	Nilai yang valid: false (default) true Penting Parameter ini memaksa kolom kunci primer nullable di StarRocks untuk diperlakukan sebagai non-nullable. Pastikan data input upstream tidak mengandung nilai NULL agar tidak menimbulkan masalah tak terduga.

   VVR 8 dan versi yang lebih lama

   Parameter	Deskripsi	Wajib	Catatan
   catalogname	Nama katalog StarRocks.	Ya	Nama hanya boleh terdiri dari huruf kecil (a-z) dan angka (0-9). Tidak boleh mengandung huruf kapital atau karakter khusus seperti tanda hubung (-) dan garis bawah (_).
   type	Jenis katalog.	Ya	Atur nilainya ke starrocks.
   endpoint	Titik akhir StarRocks FE.	Ya	Tentukan alamat IP dan port JDBC FE. Gunakan format jdbc:mysql://ip:port. Port biasanya 9030.
   username	Username untuk mengakses StarRocks.	Ya	Tidak ada.
   password	Password untuk mengakses StarRocks.	Ya	Untuk mencegah kebocoran password, gunakan variabel alih-alih password dalam teks biasa. Untuk informasi selengkapnya, lihat Project variables.
   dbname	Nama database StarRocks default yang akan diakses.	Ya	Tidak ada.

2. Pilih kode untuk membuat katalog dan klik tombol Run yang muncul di sebelah nomor baris.

   

Baca data dari tabel StarRocks

INSERT INTO ${other_sink_table}
SELECT ...
FROM `${catalog_name}`.`${db_name}`.`${table_name}`

INSERT INTO ${other_sink_table}
SELECT ...
FROM `${catalog_name}`.`${db_name}`.`${table_name}`
    /*+
        OPTIONS('connector' = 'starrocks', 'jdbc-url' = 'jdbc:mysql://ip:port', 'scan-url' = 'ip:port')
    */

Tulis data ke tabel sink StarRocks

INSERT INTO `${catalog_name}`.`${db_name}`.`${table_name}`
SELECT ... 
FROM ${other_source_table}

INSERT INTO `${catalog_name}`.`${db_name}`.`${table_name}`
 /*+
        OPTIONS('connector' = 'starrocks', 'jdbc-url' = 'jdbc:mysql://ip:port', 'load-url' = 'ip:port', 'sink.buffer-flush.interval-ms' = '5000','sink.properties.row_delimiter' = '\x02',
'sink.properties.column_separator' = '\x01')
    */
SELECT ... 
FROM ${other_source_table}

Gunakan sebagai katalog tujuan untuk CTAS dan CDAS

use catalog sr_catalog;

CREATE TABLE IF NOT EXISTS `${table_name}`
WITH (
  ...
) AS TABLE ${other_source_table};


CREATE DATABASE IF NOT EXISTS `${db_name}`
WITH (
 ...
) AS DATABASE ${other_source_database};

Untuk informasi selengkapnya, lihat Gunakan pernyataan CTAS di Flink untuk menyinkronkan data dari MySQL ke StarRocks.

Gunakan UI

1. Buka halaman Data Management.

   1. Login ke Konsol Realtime Compute for Apache Flink.

   2. Temukan ruang kerja yang ingin dikelola dan klik Console pada kolom Actions.

   3. Anda dapat mengklik Data Management.

2. Di halaman Catalog List, temukan katalog yang dituju lalu klik Delete pada kolom Actions.

3. Di pesan yang muncul, klik Delete.

4. Di area Metadata sebelah kiri, verifikasi bahwa katalog yang dituju telah dihapus.

Gunakan perintah SQL

1. Pada editor teks di halaman Data Query, masukkan perintah berikut.

   DROP CATALOG `<catalog name>`;

   Pada perintah tersebut, ganti <catalog name> dengan nama katalog StarRocks Anda.

   Penting

   Menghapus katalog StarRocks tidak memengaruhi pekerjaan yang sedang berjalan. Namun, hal ini berdampak pada pekerjaan yang belum dipublikasikan atau pekerjaan yang perlu dijeda lalu dilanjutkan. Lakukan dengan hati-hati.

2. Klik kanan perintah untuk menghapus katalog tersebut lalu pilih Run.

3. Di area Metadata sebelah kiri, verifikasi bahwa katalog yang dituju telah dihapus.