PolarDB:Tampilan pencarian dan prosedur tersimpan ETL

Buat tampilan pencarian

Sintaks

CREATE SEARCH VIEW view_name [(column_list, PRIMARY KEY (pk_column_list))]
 [WITH (option_list)]
 AS select_statement;

Parameter

Batasan dan catatan penggunaan

• Tabel sumber harus berisi kunci primer atau kunci unik.

• Anda harus memiliki izin ALTER pada semua tabel sumber dalam tampilan pencarian, serta izin SELECT pada kolom terkait atau seluruh tabel.

• Setelah tampilan pencarian dibuat, kolom baru yang ditambahkan ke tabel sumber tidak disinkronkan secara otomatis. Untuk menyinkronkan kolom baru, lihat Ubah tampilan pencarian.

• Untuk menggunakan konfigurasi indeks tujuan khusus, Anda dapat terlebih dahulu membuat indeks di PolarSearch node dan menentukan konfigurasinya secara manual, lalu membuat tampilan pencarian. Jika indeks tujuan belum ada saat pembuatan, sistem akan membuatnya secara otomatis.

• Untuk mengonfigurasi parameter sinkronisasi lanjutan untuk agregasi multi-tabel atau kueri kompleks, seperti konversi bidang JSON dan bidang routing, lihat Konfigurasi parameter AutoETL dan praktik terbaik.

Persiapan data

Anda dapat membuat data uji yang digunakan dalam contoh berikut dengan menjalankan pernyataan SQL berikut di PolarDB for MySQL.

CREATE DATABASE IF NOT EXISTS db1;
CREATE DATABASE IF NOT EXISTS db2;

USE db1;
CREATE TABLE IF NOT EXISTS t1 (
 id INT PRIMARY KEY,
 c1 VARCHAR(100),
 c2 VARCHAR(100)
);
INSERT INTO t1(id, c1, c2) VALUES
(1, 'apple', 'red'),
(2, 'banana', 'yellow'),
(3, 'grape', 'purple');

USE db2;
CREATE TABLE IF NOT EXISTS t2 (id INT PRIMARY KEY, c2 INT);
INSERT INTO t2(id, c2) VALUES (1, 111), (2, 222), (4, 444);

Contoh

• Sinkronisasi tabel lengkap: Sinkronkan db1.t1 ke PolarSearch. Nama tampilan view_test juga merupakan nama indeks target di PolarSearch.

  CREATE SEARCH VIEW view_test AS SELECT * FROM db1.t1;

• Sinkronisasi kolom tertentu: Sinkronkan hanya kolom c1 dan c2, serta tentukan secara manual tipe kolom dan kunci primernya.

  CREATE SEARCH VIEW view_test1 AS SELECT c1, c2 FROM db1.t1;

• Parameter sinkronisasi tertentu: Tentukan konfigurasi sinkronisasi melalui klausa WITH saat membuat tampilan pencarian. Contoh berikut menyinkronkan kolom db1.t1 c1 dan c2 ke PolarSearch dan mengatur paralelisme sinkronisasi menjadi 2.

  CREATE SEARCH VIEW view_test6 WITH ('parallelism' = '2') AS SELECT c1, c2 FROM db1.t1;

• Sinkronisasi filter bersyarat: Sinkronkan hanya data yang memenuhi kondisi WHERE.

  CREATE SEARCH VIEW view_test2 AS SELECT id, c1, c2 FROM db1.t1 WHERE c1 > 10;

• JOIN multi-tabel: Gabungkan db1.t1 dan db2.t2 melalui id dan sinkronkan hasilnya ke PolarSearch.

  CREATE SEARCH VIEW view_test3(id, c1, c2) AS SELECT t1.id, t1.c1, t2.c2 FROM db1.t1 AS t1 LEFT JOIN db2.t2 AS t2 ON t1.id = t2.id;

• UNION multi-tabel: Gabungkan beberapa tabel dengan struktur yang sama dan sinkronkan. Setiap pernyataan SELECT harus memiliki jumlah dan tipe kolom yang sama.

  CREATE SEARCH VIEW view_test4(id, c2) AS SELECT id, c2 FROM db1.t1 UNION ALL SELECT id, c2 FROM db2.t2;

• Agregasi kelompok: Sinkronkan data setelah agregasi kelompok. Saat menggunakan GROUP BY, Anda harus menentukan kolom dan kunci primer secara manual.

  CREATE SEARCH VIEW view_test5 (id, max_c) AS SELECT t1.id, MAX(t1.c1) AS max_c FROM db1.t1 GROUP BY t1.id;

Verifikasi data

Periksa status sinkronisasi tampilan pencarian:

SHOW SEARCH VIEW STATUS;

Saat statusnya active, sinkronisasi data tampilan pencarian berjalan normal. Hubungkan ke PolarSearch node, gunakan REST API kompatibel Elasticsearch untuk memverifikasi data:

# Ganti <user>:<password> dengan kredensial node PolarSearch dan <polarsearch_endpoint> dengan titik akhir dan port node PolarSearch
curl -u <user>:<password> -X GET "http://<polarsearch_endpoint>/view_test/_search"

Kelola tampilan pencarian

Anda dapat menggunakan perintah berikut untuk melihat tampilan pencarian yang telah dibuat, atau menghentikan, memulai ulang, atau membangun ulang sinkronisasi data. Semua perintah harus dijalankan di klien database setelah terhubung ke kluster.

SHOW SEARCH VIEW STATUS;

+------------+--------+----------+---------+---------------------+---------------------+
| View Name | Type | Status | Message | Created_at | Updated_at |
+------------+--------+----------+---------+---------------------+---------------------+
| view_test | search | active | | 2026-03-18 18:44:12 | 2026-03-18 18:51:37 |
+------------+--------+----------+---------+---------------------+---------------------+

SHOW CREATE SEARCH VIEW view_test;

+-----------+------------------------------------------------------+
| View Name | Create Search View |
+-----------+------------------------------------------------------+
| view_test | CREATE SEARCH VIEW view_test AS SELECT * FROM db1.t1 |
+-----------+------------------------------------------------------+

ALTER SEARCH VIEW view_test STOP;

ALTER SEARCH VIEW view_test RESTART;

ALTER SEARCH VIEW view_test REBUILD;

Hapus tampilan pencarian

DROP SEARCH VIEW view_name;

Sistem menangani penghapusan berdasarkan status tampilan pencarian:

• Tampilan pencarian active: Statusnya pertama kali berubah menjadi dropping. Setelah sistem menyelesaikan pembersihan sumber daya dan penghapusan data indeks target, statusnya berubah menjadi dropped.

• Tampilan pencarian dropped: Sistem sepenuhnya menghapus informasi tampilan pencarian.

• Tampilan pencarian dengan status lain: Sistem tidak mendukung penghapusan.

Ubah tampilan pencarian

Setelah tampilan pencarian dibuat, Anda dapat menyesuaikan parameter runtime-nya atau memodifikasi logika sinkronisasinya, seperti menambahkan bidang sinkronisasi atau mengubah kondisi kueri. AutoETL menyediakan tiga metode modifikasi:

• Untuk menyesuaikan hanya parameter runtime seperti paralelisme dan penggunaan sumber daya komputasi, gunakan Modifikasi parameter. Tidak diperlukan perubahan pada SQL sinkronisasi.

• Saat memodifikasi logika sinkronisasi, utamakan Modifikasi SQL in-place. Jika definisi SQL kompatibel, sinkronisasi dilanjutkan dari checkpoint awal tanpa perlu sinkronisasi ulang penuh. Anda dapat merujuk ke Aturan dan praktik terbaik perubahan DDL untuk menentukan apakah definisi SQL kompatibel.

• Jika definisi SQL tidak kompatibel dan modifikasi in-place tidak memungkinkan, gunakan metode modifikasi “indeks baru + tampilan pencarian baru” untuk membangun ulang.

ALTER SEARCH VIEW view_name UPDATE WITH (new_option_list);

ALTER SEARCH VIEW view_test UPDATE WITH ('parallelism' = '8', 'link.tm.cpu' = '4', 'link.tm.slots' = '8');

ALTER SEARCH VIEW view_name UPDATE
 [TO (column_list, PRIMARY KEY (pk_column_list))]
 AS new_select_statement;

Buat tautan sinkronisasi

Sintaks

CALL dbms_etl.sync_by_sql("search", "<sync_sql>");

Contoh

CALL dbms_etl.sync_by_sql("search", "

-- Langkah 1: Definisikan tabel sumber PolarDB
CREATE TEMPORARY TABLE `db1`.`t1` (
 `id` BIGINT,
 `c1` STRING,
 PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
 'connector' = 'mysql',
 'database-name' = 'db1',
 'table-name' = 't1'
);

-- Langkah 2: Definisikan tabel tujuan PolarSearch
CREATE TEMPORARY TABLE `dest` (
 `id` BIGINT,
 `max_c` STRING,
 PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
 'connector' = 'opensearch',
 'index' = 'dest'
);

-- Langkah 3: Definisikan logika komputasi dan penyisipan
INSERT INTO `dest`
SELECT
 `t1`.`id`,
 MAX(`t1`.`c1`)
FROM `db1`.`t1` AS `t1`
GROUP BY `t1`.`id`;
");

Verifikasi data

Hubungkan ke PolarSearch node, gunakan REST API kompatibel Elasticsearch untuk mengkueri dan memverifikasi bahwa data telah disinkronkan.

# Ganti <polarsearch_endpoint> dengan titik akhir node PolarSearch
curl -u <user>:<password> -X GET "http://<polarsearch_endpoint>/dest/_search"

Kelola tautan sinkronisasi

Anda dapat menggunakan perintah berikut untuk melihat tautan sinkronisasi yang telah dibuat, atau menghentikan, memulai ulang, atau membangun ulang sinkronisasi data. Semua perintah harus dijalankan di klien database setelah terhubung ke kluster.

CALL dbms_etl.show_sync_link();

CALL dbms_etl.show_sync_link_by_id('<sync_id>')\G

*************************** 1. row ***************************
 SYNC_ID: crb5rmv8rttsg
 NAME: crb5rmv8rttsg
 SYSTEM: search
SYNC_DEFINITION: db1.t1 -> dest
 SOURCE_TABLES: db1.t1
 SINK_TABLES: dest
 STATUS: active -- Status tautan. active menunjukkan operasi normal
 MESSAGE: -- Jika terjadi kesalahan, pesan kesalahan akan ditampilkan di sini
 CREATED_AT: 2024-05-20 11:55:06
 UPDATED_AT: 2024-05-20 17:28:04
 OPTIONS:...

CALL dbms_etl.stop_sync_link('<sync_id>');

CALL dbms_etl.restart_sync_link('<sync_id>');

CALL dbms_etl.rebuild_sync_link('<sync_id>');

Hapus tautan sinkronisasi

Operasi ini menghentikan sinkronisasi data dan membersihkan sumber daya terkait.

CALL dbms_etl.drop_sync_link('<sync_id>');

Sistem menangani penghapusan drop_sync_link berbeda-beda tergantung status tautan:

• Tautan active: Statusnya pertama kali berubah menjadi dropping. Setelah sistem menyelesaikan pembersihan sumber daya tautan dan data indeks target, statusnya berubah menjadi dropped.

• Tautan dropped: Sistem sepenuhnya menghapus informasi tautan.

• Tautan dengan status lain: Sistem tidak mendukung penghapusan.

Ubah tautan sinkronisasi

Setelah tautan sinkronisasi dibuat, Anda dapat menyesuaikan parameter runtime-nya atau memodifikasi SQL sinkronisasinya. Mirip dengan tampilan pencarian, AutoETL menyediakan tiga metode modifikasi:

• Untuk menyesuaikan hanya parameter runtime seperti paralelisme dan penggunaan sumber daya komputasi, gunakan Modifikasi parameter. Tidak diperlukan perubahan pada SQL sinkronisasi.

• Saat memodifikasi SQL sinkronisasi, utamakan Modifikasi SQL in-place. Jika definisi SQL kompatibel, sinkronisasi dilanjutkan dari checkpoint awal tanpa perlu sinkronisasi ulang penuh. Anda dapat merujuk ke Aturan dan praktik terbaik perubahan DDL untuk menentukan apakah definisi SQL kompatibel.

• Jika definisi SQL tidak kompatibel dan modifikasi in-place tidak memungkinkan, gunakan metode modifikasi “indeks baru + tautan baru” untuk membangun ulang.

SET esl_link_options = "<new_option_list>";
CALL dbms_etl.update_sync_link('<sync_id>', '');

SET esl_link_options = "'parallelism' = '8', 'link.tm.cpu' = '4', 'link.tm.slots' = '8'";
CALL dbms_etl.update_sync_link('8f4228x2uq12z', '');

CALL dbms_etl.update_sync_link('<sync_id>', '<new_sync_sql>');

CALL dbms_etl.update_sync_link('8f4228x2uq12z', "

CREATE TEMPORARY TABLE `db1`.`t1` (
 `id` BIGINT,
 `c1` STRING,
 PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
 'connector' = 'mysql',
 'database-name' = 'db1',
 'table-name' = 't1'
);

CREATE TEMPORARY TABLE `dest` (
 `id` BIGINT,
 `c1` STRING,
 PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
 'connector' = 'opensearch',
 'index' = 'dest'
);

INSERT INTO `dest` SELECT `id`, `c1` FROM `db1`.`t1` WHERE `c1` > 20;
");