PolarDB:検索ビューと ETL ストアドプロシージャ

検索ビューの作成

構文

CREATE SEARCH VIEW view_name [(column_list, PRIMARY KEY (pk_column_list))]
 [WITH (option_list)]
 AS select_statement;

パラメーター

使用上の制限と注意点

• ソーステーブルには主キーまたは一意キーが含まれている必要があります。

• 検索ビュー内のすべてのソーステーブルに対する ALTER 権限、および関連カラムまたはテーブル全体に対する SELECT 権限が必要です。

• 検索ビューの作成後、ソーステーブルに追加された新しいカラムは自動的に同期されません。新しいカラムを同期するには、「検索ビューの変更」をご参照ください。

• カスタムの宛先インデックス設定を使用するには、まず PolarSearch ノードでインデックスを手動で作成してその設定を定義してから、検索ビューを作成します。作成時に宛先インデックスが存在しない場合、システムが自動的に作成します。

• 複数テーブル集計や複雑なクエリの高度な同期パラメーター (JSON フィールド変換、ルーティングフィールドなど) を設定するには、「AutoETL パラメーター設定とベストプラクティス」をご参照ください。

データの準備

以下の例で使用するテストデータは、PolarDB for MySQL で以下の SQL ステートメントを実行して作成できます。

CREATE DATABASE IF NOT EXISTS db1;
CREATE DATABASE IF NOT EXISTS db2;

USE db1;
CREATE TABLE IF NOT EXISTS t1 (
 id INT PRIMARY KEY,
 c1 VARCHAR(100),
 c2 VARCHAR(100)
);
INSERT INTO t1(id, c1, c2) VALUES
(1, 'apple', 'red'),
(2, 'banana', 'yellow'),
(3, 'grape', 'purple');

USE db2;
CREATE TABLE IF NOT EXISTS t2 (id INT PRIMARY KEY, c2 INT);
INSERT INTO t2(id, c2) VALUES (1, 111), (2, 222), (4, 444);

例

• フルテーブル同期: db1.t1 を PolarSearch に結合します。ビュー名 view_test は PolarSearch のターゲットインデックス名でもあります。

  CREATE SEARCH VIEW view_test AS SELECT * FROM db1.t1;

• 指定列の同期: c1 列とc2 列のみを同期し、列の型とプライマリキーを手動で定義します。

  CREATE SEARCH VIEW view_test1 AS SELECT c1, c2 FROM db1.t1;

• 同期パラメーターの指定: 検索ビューを作成する際に、WITH 句を使用して同期設定を指定します。 次の例では、db1.t1 の c1 とc2 の列を PolarSearch に同期し、同期並列度を 2 に設定します。

  CREATE SEARCH VIEW view_test6 WITH ('parallelism' = '2') AS SELECT c1, c2 FROM db1.t1;

• 条件付きフィルター同期: WHERE 条件を満たすデータのみを同期します。

  CREATE SEARCH VIEW view_test2 AS SELECT id, c1, c2 FROM db1.t1 WHERE c1 > 10;

• 複数テーブル JOIN: db1.t1 と db2.t2 を id で JOIN し、その結果を PolarSearch に同期します。

  CREATE SEARCH VIEW view_test3(id, c1, c2) AS SELECT t1.id, t1.c1, t2.c2 FROM db1.t1 AS t1 LEFT JOIN db2.t2 AS t2 ON t1.id = t2.id;

• 複数テーブル UNION：同じ構造を持つ複数のテーブルをマージして同期します。各 SELECT 文は、同じ数と型の列を持つ必要があります。

  CREATE SEARCH VIEW view_test4(id, c2) AS SELECT id, c2 FROM db1.t1 UNION ALL SELECT id, c2 FROM db2.t2;

• グループ集計：グループ集計後にデータを同期します。GROUP BY を使用する場合、列とプライマリーキーを手動で定義する必要があります。

  CREATE SEARCH VIEW view_test5 (id, max_c) AS SELECT t1.id, MAX(t1.c1) AS max_c FROM db1.t1 GROUP BY t1.id;

データの検証

検索ビューの同期ステータスを確認します。

SHOW SEARCH VIEW STATUS;

ステータスが active の場合、検索ビューのデータ同期は正常に実行されています。Elasticsearch 互換の REST API を使用して PolarSearch ノードに接続し、データを検証してください：

# <user>:<password> を PolarSearch ノードの認証情報に、<polarsearch_endpoint> を PolarSearch ノードのエンドポイントとポート番号に置き換えます
curl -u <user>:<password> -X GET "http://<polarsearch_endpoint>/view_test/_search"

検索ビューの管理

以下のコマンドを使用して、作成した検索ビューを表示したり、データ同期を停止、再起動、または再構築したりできます。すべてのコマンドは、クラスターに接続した後、データベースクライアントで実行する必要があります。

SHOW SEARCH VIEW STATUS;

+------------+--------+----------+---------+---------------------+---------------------+
| View Name | Type | Status | Message | Created_at | Updated_at |
+------------+--------+----------+---------+---------------------+---------------------+
| view_test | search | active | | 2026-03-18 18:44:12 | 2026-03-18 18:51:37 |
+------------+--------+----------+---------+---------------------+---------------------+

SHOW CREATE SEARCH VIEW view_test;

+-----------+------------------------------------------------------+
| View Name | Create Search View |
+-----------+------------------------------------------------------+
| view_test | CREATE SEARCH VIEW view_test AS SELECT * FROM db1.t1 |
+-----------+------------------------------------------------------+

ALTER SEARCH VIEW view_test STOP;

ALTER SEARCH VIEW view_test RESTART;

ALTER SEARCH VIEW view_test REBUILD;

検索ビューの削除

DROP SEARCH VIEW view_name;

システムは、検索ビューのステータスに応じて、異なる方法で削除を処理します。

• active の検索ビューの場合、ステータスはまず dropping に変更されます。システムがリソースのクリーンアップとターゲットインデックスデータの削除を完了すると、ステータスは dropped に変更されます。

• dropped 検索ビュー：システムは検索ビュー情報を完全に削除します。

• その他のステータスの検索ビュー：システムは削除をサポートしていません。

検索ビューの変更

検索ビューの作成後、ランタイムパラメーターを調整したり、同期ロジックを変更したりできます。たとえば、同期フィールドを追加したり、クエリ条件を変更したりできます。AutoETL は 3 つの変更方法を提供します。

• 並列度やコンピューティングリソース使用量などのランタイムパラメーターのみを調整する場合は、パラメーター変更を使用します。同期 SQL の変更は不要です。

• 同期ロジックを変更する場合は、インプレース SQL 変更を優先します。SQL 定義に互換性がある場合、元のチェックポイントから同期を継続し、完全な再同期は不要です。SQL 定義に互換性があるかどうかを判断するには、「DDL 変更ルールとベストプラクティス」をご参照ください。

• SQL 定義に互換性がなく、インプレース変更ができない場合は、「新しいインデックス + 新しい検索ビュー」方式による変更を使用して再構築します。

ALTER SEARCH VIEW view_name UPDATE WITH (new_option_list);

ALTER SEARCH VIEW view_test UPDATE WITH ('parallelism' = '8', 'link.tm.cpu' = '4', 'link.tm.slots' = '8');

ALTER SEARCH VIEW view_name UPDATE
 [TO (column_list, PRIMARY KEY (pk_column_list))]
 AS new_select_statement;

同期リンクの作成

構文

CALL dbms_etl.sync_by_sql("search", "<sync_sql>");

例

CALL dbms_etl.sync_by_sql("search", "

-- ステップ 1: PolarDB ソーステーブルを定義
CREATE TEMPORARY TABLE `db1`.`t1` (
 `id` BIGINT,
 `c1` STRING,
 PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
 'connector' = 'mysql',
 'database-name' = 'db1',
 'table-name' = 't1'
);

-- ステップ 2: PolarSearch 宛先テーブルを定義
CREATE TEMPORARY TABLE `dest` (
 `id` BIGINT,
 `max_c` STRING,
 PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
 'connector' = 'opensearch',
 'index' = 'dest'
);

-- ステップ 3: 計算と挿入ロジックを定義
INSERT INTO `dest`
SELECT
 `t1`.`id`,
 MAX(`t1`.`c1`)
FROM `db1`.`t1` AS `t1`
GROUP BY `t1`.`id`;
");

データの検証

PolarSearch ノードに接続し、Elasticsearch 互換の REST API を使用してクエリし、データが同期されていることを確認します。

# <polarsearch_endpoint> を PolarSearch ノードのエンドポイントに置き換えます
curl -u <user>:<password> -X GET "http://<polarsearch_endpoint>/dest/_search"

同期リンクの管理

以下のコマンドを使用して、作成した同期リンクを表示したり、データ同期を停止、再起動、または再構築したりできます。すべてのコマンドは、クラスターに接続した後、データベースクライアントで実行する必要があります。

CALL dbms_etl.show_sync_link();

CALL dbms_etl.show_sync_link_by_id('<sync_id>')\G

*************************** 1. row ***************************
 SYNC_ID: crb5rmv8rttsg
 NAME: crb5rmv8rttsg
 SYSTEM: search
SYNC_DEFINITION: db1.t1 -> dest
 SOURCE_TABLES: db1.t1
 SINK_TABLES: dest
 STATUS: active -- リンクのステータス。active は正常動作を示します
 MESSAGE: -- エラーが発生した場合、ここにエラーメッセージが表示されます
 CREATED_AT: 2024-05-20 11:55:06
 UPDATED_AT: 2024-05-20 17:28:04
 OPTIONS:...

CALL dbms_etl.stop_sync_link('<sync_id>');

CALL dbms_etl.restart_sync_link('<sync_id>');

CALL dbms_etl.rebuild_sync_link('<sync_id>');

同期リンクの削除

この操作は、データ同期を停止し、関連リソースをクリーンアップします。

CALL dbms_etl.drop_sync_link('<sync_id>');

システムは、リンクの状態に応じて drop_sync_link の削除を異なる方法で処理します：

• active リンク: ステータスはまず dropping に変わります。システムがリンクリソースとターゲットインデックスデータのクリーンアップを完了した後、ステータスは dropped に変わります。

• dropped リンク: システムはリンク情報を完全に削除します。

• その他のステータスのリンク：システムは削除をサポートしていません。

同期リンクの変更

同期リンクの作成後、ランタイムパラメーターを調整したり、同期 SQL を変更したりできます。検索ビューと同様に、AutoETL は 3 つの変更方法を提供します。

• 並列度やコンピューティングリソース使用量などのランタイムパラメーターのみを調整する場合は、パラメーター変更を使用します。同期 SQL の変更は不要です。

• 同期 SQL を変更する場合は、インプレース SQL 変更を優先します。SQL 定義に互換性がある場合、元のチェックポイントから同期を継続し、完全な再同期は不要です。SQL 定義に互換性があるかどうかを判断するには、「DDL 変更ルールとベストプラクティス」をご参照ください。

• SQL 定義に互換性がなく、インプレース変更ができない場合は、「新しいインデックス + 新しいリンク」方式による変更を使用して再構築します。

SET esl_link_options = "<new_option_list>";
CALL dbms_etl.update_sync_link('<sync_id>', '');

SET esl_link_options = "'parallelism' = '8', 'link.tm.cpu' = '4', 'link.tm.slots' = '8'";
CALL dbms_etl.update_sync_link('8f4228x2uq12z', '');

CALL dbms_etl.update_sync_link('<sync_id>', '<new_sync_sql>');

CALL dbms_etl.update_sync_link('8f4228x2uq12z', "

CREATE TEMPORARY TABLE `db1`.`t1` (
 `id` BIGINT,
 `c1` STRING,
 PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
 'connector' = 'mysql',
 'database-name' = 'db1',
 'table-name' = 't1'
);

CREATE TEMPORARY TABLE `dest` (
 `id` BIGINT,
 `c1` STRING,
 PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
 'connector' = 'opensearch',
 'index' = 'dest'
);

INSERT INTO `dest` SELECT `id`, `c1` FROM `db1`.`t1` WHERE `c1` > 20;
");