PolarDB:PolarDB for MySQL から PolarSearch へのデータ同期

検索ビューの作成

構文

CREATE SEARCH VIEW view_name [(column_list, PRIMARY KEY (pk_column_list))] AS select_statement;

パラメーター

制限事項と注意事項

• ソーステーブルには、プライマリキーまたは一意キーが含まれている必要があります。

• 検索ビューで使用されるすべてのソーステーブルに対する ALTER 権限、および関連する列またはテーブル全体に対する SELECT 権限が必要です。

• 検索ビューの作成後、ソーステーブルに追加された新しい列は、デフォルトでは自動的に同期されません。新しい列を同期するには、「検索ビューの変更」をご参照ください。

• カスタムターゲットインデックスを使用するには、まず PolarSearch ノード で作成および構成し、次に検索ビューを作成します。ビューの作成時にターゲットインデックスが存在しない場合、システムは自動的に作成します。

• 複数テーブル集約や複雑なクエリの場合、JSON フィールド変換やルートフィールドなどの高度な同期パラメーターを構成するには、「AutoETL パラメーター構成と実践例」をご参照ください。

データ準備

以下の例ではテストデータを使用します。PolarDB for MySQL で以下の SQL ステートメントを実行して、このデータを作成できます。

CREATE DATABASE IF NOT EXISTS db1;
CREATE DATABASE IF NOT EXISTS db2;

USE db1;
CREATE TABLE IF NOT EXISTS t1 (
    id INT PRIMARY KEY,
    c1 VARCHAR(100),
    c2 VARCHAR(100)
);
INSERT INTO t1(id, c1, c2) VALUES
(1, 'apple', 'red'),
(2, 'banana', 'yellow'),
(3, 'grape', 'purple');

USE db2;
CREATE TABLE IF NOT EXISTS t2 (id INT PRIMARY KEY, c2 INT);
INSERT INTO t2(id, c2) VALUES (1, 111), (2, 222), (4, 444);

例

• テーブル全体の同期: db1.t1 のすべてのデータを PolarSearch に同期します。ビュー名 view_test は、PolarSearch のターゲットインデックスの名前でもあります。

  CREATE SEARCH VIEW view_test AS SELECT * FROM db1.t1;

• 指定された列の同期: c1 および c2 列のみを同期し、列の型とプライマリキーを手動で定義します。

  CREATE SEARCH VIEW view_test1 AS SELECT c1, c2 FROM db1.t1;

• 条件付きフィルタリング: WHERE 条件を満たすデータのみを同期します。

  CREATE SEARCH VIEW view_test2 AS SELECT id, c1, c2 FROM db1.t1 WHERE c1 > 10;

• 複数テーブル JOIN: db1.t1 と db2.t2 を id フィールドで結合し、結果を PolarSearch に同期します。

  CREATE SEARCH VIEW view_test3(id, c1, c2) AS SELECT t1.id, t1.c1, t2.c2 FROM db1.t1 AS t1 LEFT JOIN db2.t2 AS t2 ON t1.id = t2.id;

• 複数テーブル UNION: 同一の構造を持つ複数のテーブルをマージして同期します。SELECT ステートメントは、同じ数と型の列を持つ必要があります。

  CREATE SEARCH VIEW view_test4(id, c2) AS SELECT id, c2 FROM db1.t1 UNION ALL SELECT id, c2 FROM db2.t2;

• グループ化された集約: 同期前にデータをグループ化および集約します。GROUP BY を使用する場合、列とプライマリキーを手動で定義する必要があります。

  CREATE SEARCH VIEW view_test5 (id, max_c) AS SELECT t1.id, MAX(t1.c1) AS max_c FROM db1.t1 GROUP BY t1.id;

データ検証

検索ビューの同期ステータスを確認します。

SHOW SEARCH VIEW STATUS;

ステータスが active の場合、検索ビューがデータを正常に同期していることを示します。PolarSearch ノード に接続し、Elasticsearch 互換の REST API を使用してデータを検証します。

# Replace <user>:<password> with the credentials for the PolarSearch node and <polarsearch_endpoint> with the endpoint and port of the PolarSearch node.
curl -u <user>:<password> -X GET "http://<polarsearch_endpoint>/view_test/_search"

検索ビューの管理

作成した検索ビューを表示するには、次のコマンドを使用します。

• すべての検索ビューのステータスを表示します。

  SHOW SEARCH VIEW STATUS;

  このコマンドは次の出力を返します。ステータスが active の場合、検索ビューがデータを正常に同期していることを示します。

  +------------+--------+----------+---------+---------------------+---------------------+
  | View Name  | Type   | Status   | Message | Created_at          | Updated_at          |
  +------------+--------+----------+---------+---------------------+---------------------+
  | view_test  | search | active   |         | 2026-03-18 18:44:12 | 2026-03-18 18:51:37 |
  +------------+--------+----------+---------+---------------------+---------------------+

• 特定の検索ビューの CREATE 文を表示します:

  SHOW CREATE SEARCH VIEW view_test;

  以下の結果が返されます。

  +-----------+------------------------------------------------------+
  | View Name | Create Search View                                   |
  +-----------+------------------------------------------------------+
  | view_test | CREATE SEARCH VIEW view_test AS SELECT * FROM db1.t1 |
  +-----------+------------------------------------------------------+

検索ビューの削除

DROP SEARCH VIEW view_name;

検索ビューを削除する際のシステムの動作は、そのステータスによって異なります。

• active 状態の検索ビューは、まず dropping に変わります。システムがリソースをクリーンアップし、ターゲットインデックスデータを削除した後、その状態は dropped に変わります。

• dropped 状態の検索ビュー: システムは、そのすべての情報を完全に削除します。

• その他の状態: その他の状態の検索ビューの削除はサポートされていません。

検索ビューの変更

新しいフィールドの同期やクエリ条件の変更など、検索ビューの同期ロジックを変更する必要がある場合は、「新しいインデックス + 新しい検索ビュー」のアプローチを使用して変更を適用することを推奨します。この方法は、ビジネスクエリに影響を与えないことを保証します。

1. 新しい PolarSearch インデックスにデータを同期する新しい検索ビューを作成します。

2. SHOW SEARCH VIEW STATUS を実行して、新しい検索ビューのステータスを確認します。新しいビューの同期遅延が 0～1 秒に低下したら、ビジネスクエリを古いインデックスから新しいインデックスに切り替えます。

3. 古い検索ビューを削除します。

ソーステーブルへの DDL 変更が検索ビューに与える影響、および詳細な変更方法については、「DDL 変更ルールと実践」をご参照ください。

同期リンクの作成

構文

CALL dbms_etl.sync_by_sql("search", "<sync_sql>");

例

CALL dbms_etl.sync_by_sql("search", "
-- Step 1: Define the PolarDB source table
CREATE TEMPORARY TABLE `db1`.`sbtest1` (
  `id`   BIGINT,
  `c1`   STRING,
  `c2`   STRING,
  PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
  'connector' = 'mysql',
  'hostname' = '{mysql_host}',
  'port' = '{mysql_port}',
  'username' = '{mysql_user}',       -- Do not use a plaintext password in production.
  'password' = '{mysql_password}',   -- Do not use a plaintext password in production.
  'database-name' = 'db1',
  'table-name' = 't1',
  'server-id' = '10000-11000'        -- Link identifier
);

-- Step 2: Define the PolarSearch target table
CREATE TEMPORARY TABLE `dest` (
  `id`  BIGINT,
  `max_c` STRING,
  PRIMARY KEY (`k`) NOT ENFORCED
) WITH (
  'connector' = 'opensearch',
  'hosts' = '{search_host}:{search_port}',   
  'index' = 'dest',
  'username' = '{search_user}',     -- Do not use a plaintext password in production.
  'password' = '{search_password}'  -- Do not use a plaintext password in production.
);

-- Step 3: Define the computation and insertion logic
INSERT INTO `dest`
SELECT
    `t1`.`id`,
    MAX(`t1`.`c1`)
FROM `db1`.`t1` AS `t1`
GROUP BY `t1`.`id`;
");

データ検証

PolarSearch ノード に接続し、Elasticsearch 互換の REST API を使用してデータをクエリし、同期されていることを確認します。

# Replace <polarsearch_endpoint> with the endpoint of the PolarSearch node.
curl -u <user>:<password> -X GET "http://<polarsearch_endpoint>/dest/_search"

同期リンクの管理

作成したデータ同期リンクを表示するには、次のコマンドを使用します。

• すべてのリンクを表示します。

  CALL dbms_etl.show_sync_link();

• ID で特定のリンクを表示します。<sync_id> を、リンク作成時に返された ID に置き換えます。

  CALL dbms_etl.show_sync_link_by_id('<sync_id>')\G

  フィールドの説明:

  *************************** 1. row ***************************
          SYNC_ID: crb5rmv8rttsg
             NAME: crb5rmv8rttsg
           SYSTEM: search
  SYNC_DEFINITION: db1.t1 -> dest
    SOURCE_TABLES: db1.t1
      SINK_TABLES: dest
           STATUS: active  -- Link status; `active` indicates normal operation.
          MESSAGE:         -- Displays an error message if an error occurs.
       CREATED_AT: 2024-05-20 11:55:06
       UPDATED_AT: 2024-05-20 17:28:04
          OPTIONS: ...

同期リンクの削除

この操作は、データ同期を停止し、関連リソースをクリーンアップします。

CALL dbms_etl.drop_sync_link('<sync_id>');

drop_sync_link を使用して異なる状態のリンクを削除する場合、システムの処理ロジックは異なります。

• active 状態のリンクは、まず dropping に変わります。システムがリンクのリソースのクリーンアップとターゲットインデックスデータの削除を完了した後、その状態は dropped に変わります。

• dropped 状態のリンク: システムは、その情報を完全に削除します。

• その他の状態: その他の状態のリンクの削除はサポートされていません。

同期リンクの変更

データ同期リンクを変更する必要がある場合は、検索ビューの場合と同様に「新しいインデックス + 新しいリンク」のアプローチを使用します。

1. 新しい PolarSearch インデックスにデータを同期する新しいデータ同期リンクを作成します。

2. CALL dbms_etl.show_sync_link_by_id('<sync_id>') を実行して、新しいリンクのステータスを確認します。新しいリンクの同期遅延が 0～1 秒に低下したら、ビジネスクエリを古いインデックスから新しいインデックスに切り替えます。

3. 古いデータ同期リンクを削除します。