Realtime Compute for Apache Flink:Mengelola Katalog Fluss

Prasyarat

• Kluster Fluss telah dibuat. Untuk informasi selengkapnya, lihat Buat kluster Fluss.

• Kluster Fluss dan ruang kerja Flink berada di wilayah yang sama serta dapat saling terhubung melalui jaringan, baik dalam VPC yang sama maupun melalui konektivitas jaringan yang telah dikonfigurasi.

Batasan

• Katalog tidak dapat dimodifikasi. Untuk mengubahnya, hapus katalog yang ada dan buat kembali.

• Katalog yang dibuat dengan metode password terhubung ke kluster Fluss sebagai administrator. Semua pekerjaan yang menggunakan katalog ini mengakses data dengan izin administrator, sehingga akses data tidak dapat diisolasi per pengguna.

• Katalog yang dibuat dengan metode tanpa password melakukan otentikasi izin berdasarkan identitas pengguna saat ini. Ketika pengguna berbeda berbagi katalog yang sama, setiap pengguna hanya dapat mengakses data yang telah diizinkan untuknya di Fluss.

Buat Katalog Fluss

Cara membuat katalog bergantung pada versi kluster Fluss:

• Kluster Fluss sebelum versi 0.9-ali-5.0: hanya metode password yang didukung. Anda harus menyediakan username dan password administrator.

• Kluster Fluss versi 0.9-ali-5.0 atau lebih baru: metode tanpa password direkomendasikan. Tidak diperlukan username atau password, dan izin diautentikasi secara otomatis berdasarkan identitas pengguna saat ini. Metode password masih berfungsi tetapi tidak direkomendasikan.

CREATE CATALOG fluss_catalog WITH (
  'type' = 'fluss',
  'bootstrap.servers' = '<bootstrap.servers>',
  'default-database' = 'fluss',
  'client.security.protocol' = 'SASL',
  'client.security.sasl.mechanism' = 'PLAIN',
  'client.security.sasl.username' = '<username>',
  'client.security.sasl.password' = '<password>'
);

Buat katalog kustom

Fluss melakukan iterasi lebih cepat daripada Realtime Compute for Apache Flink. Topik ini menyediakan paket katalog kustom terbaru. Anda dapat menggunakannya untuk mencoba fitur katalog Fluss yang belum dirilis bersama versi VVR.

Katalog kustom hanya dapat dibuat dengan mengunggah file JAR di konsol. Setelah dibuat, Anda menggunakannya dengan cara yang sama seperti katalog Fluss bawaan.

1. Unduh file JAR katalog kustom: fluss-ali-vvr-11-0.9-ali-7.1.jar

2. Di kotak dialog Create Catalog, klik tab Custom Catalog.

3. Klik Create Custom Catalog Type, unggah file JAR yang telah diunduh, lalu klik Next.

4. Setelah file JAR dimuat, atur Catalog Type menjadi fluss-latest dan klik OK.

5. Pilih katalog ini, lalu klik Next untuk membuat katalog kustom.

   CREATE CATALOG fluss_catalog WITH (
     'type' = 'fluss-latest',
     'bootstrap.servers' = '<bootstrap.servers>',
     'default-database' = 'fluss',
     'client.security.protocol' = 'SASL',
     'client.security.sasl.mechanism' = 'PLAIN',
     'client.security.sasl.username' = '<username>',
     'client.security.sasl.password' = '<password>'
   );

   Parameter	Description	Required	Remarks
   type	Jenis katalog.	Yes	Nilai tetap: fluss-latest.
   bootstrap.servers	Daftar alamat server kluster Fluss.	Yes	Anda dapat melihatnya di halaman detail kluster di konsol Fluss.
   default-database	Nama database yang akan dihubungi secara default.	No	Nilai default-nya adalah fluss.
   client.security.protocol	Protokol otentikasi keamanan.	Yes	Nilai tetap: SASL.
   client.security.sasl.mechanism	Mekanisme autentikasi SASL.	Yes	Nilai tetap: PLAIN.
   client.security.sasl.username	Username administrator instans Fluss.	Yes	Anda dapat melihatnya di halaman detail kluster di konsol Fluss.
   client.security.sasl.password	Kata sandi administrator instance Fluss.	Yes

Lihat Katalog Fluss

Setelah katalog Fluss dikonfigurasi, lakukan langkah-langkah berikut untuk melihat metadata Fluss.

1. Login ke Konsol Realtime Compute.

2. Di kolom Actions ruang kerja target, klik Console.

3. Di panel navigasi sebelah kiri, klik Catalogs.

4. Di halaman Catalog List, lihat nama dan jenis katalog.

5. Klik View untuk melihat database dan tabel dalam katalog target.

Gunakan Katalog Fluss

CREATE TABLE `${catalog_name}`.`${db_name}`.`${table_name}` (
  ...
);

-- Buat tabel primary key
CREATE TABLE `fluss_catalog`.`fluss`.`product` (
  shop_id BIGINT,
  user_id BIGINT,
  num_orders INT,
  total_amount INT,
  PRIMARY KEY (shop_id, user_id) NOT ENFORCED
) WITH (
  'bucket.num' = '4'
);

-- Buat tabel log
CREATE TABLE `fluss_catalog`.`fluss`.`orders` (
  order_id BIGINT,
  item_id BIGINT,
  amount INT,
  address STRING
);

USE CATALOG fluss_catalog;
USE fluss;

CREATE TABLE product (
  shop_id BIGINT,
  user_id BIGINT,
  num_orders INT,
  total_amount INT,
  PRIMARY KEY (shop_id, user_id) NOT ENFORCED
) WITH (
  'bucket.num' = '4'
);

INSERT INTO `${catalog_name}`.`${db_name}`.`${table_name}`
SELECT ...
FROM ${other_source_table};

INSERT INTO `fluss_catalog`.`fluss`.`product`
SELECT shop_id, user_id, num_orders, total_amount
FROM source_table;

INSERT INTO ${other_sink_table}
SELECT ...
FROM `${catalog_name}`.`${db_name}`.`${table_name}`;

INSERT INTO sink_table
SELECT shop_id, user_id, num_orders, total_amount
FROM `fluss_catalog`.`fluss`.`product`;

Hapus Katalog Fluss

DROP CATALOG ${catalog_name};

Referensi

• Menulis data ke dan mengonsumsi data dari tabel Fluss: menjelaskan cara menulis data ke tabel Fluss dan mengonsumsi data darinya.

• Mengelola katalog kustom: gunakan katalog kustom jika katalog bawaan tidak memenuhi kebutuhan bisnis Anda.