PolarDB：AutoETL參數配置和實踐案例

JSON欄位自動轉換

當源表包含JSON類型欄位時，AutoETL預設將JSON欄位以字串形式儲存到PolarSearch中。您可以通過esl_sink_options參數配置JSON欄位的轉換方式。

1. 資料準備

   CREATE DATABASE IF NOT EXISTS db3;
   USE db3;
   CREATE TABLE IF NOT EXISTS t1 (
       id INT PRIMARY KEY,
       c1 JSON
   );
   INSERT INTO t1 VALUES (1, '{"name": "Alice", "age": 30}');
   INSERT INTO t1 VALUES (2, '{"name": "Bob", "age": 25}');

2. 預設行為（字串儲存）

   不設定任何參數，JSON欄位將以字串形式儲存到PolarSearch中。

   CREATE SEARCH VIEW view_json_default AS SELECT * FROM db3.t1;

   驗證資料（部分資料）：

   {
       "hits": [
           {
               "_index": "view_json_default",
               "_id": "2",
               "_score": 1,
               "_source": {
                   "id": 2,
                   "c1": "{\"age\":25,\"name\":\"Bob\"}"
               }
           },
           {
               "_index": "view_json_default",
               "_id": "1",
               "_score": 1,
               "_source": {
                   "id": 1,
                   "c1": "{\"age\":30,\"name\":\"Alice\"}"
               }
           }
       ]
   }

3. Nested類型儲存

   通過sink.json-flatten.fields參數指定需要轉換為Nested類型的JSON欄位。多個欄位之間用英文分號;分隔。

   SET esl_sink_options = "'sink.json-flatten.fields' = 'c1'";
   CREATE SEARCH VIEW view_json_nested AS SELECT * FROM db3.t1;

   驗證資料（部分資料）：

   {
       "hits": [
           {
               "_index": "view_json_nested",
               "_id": "1",
               "_score": 1,
               "_source": {
                   "id": 1,
                   "c1": {
                       "age": 30,
                       "name": "Alice"
                   }
               }
           },
           {
               "_index": "view_json_nested",
               "_id": "2",
               "_score": 1,
               "_source": {
                   "id": 2,
                   "c1": {
                       "age": 25,
                       "name": "Bob"
                   }
               }
           }
       ]
   }

4. Flatten模式儲存

   通過sink.json-flatten.mode參數設定為flatten，將JSON欄位展平為獨立的頂級欄位。

   SET esl_sink_options = "'sink.json-flatten.fields' = 'c1', 'sink.json-flatten.mode' = 'flatten'";
   CREATE SEARCH VIEW view_json_flatten AS SELECT * FROM db3.t1;

   驗證資料（部分資料）：在Flatten模式下，JSON中的name和age欄位將被展平為PolarSearch索引中的獨立頂級欄位。

   {
     "hits": [
         {
             "_index": "view_json_flatten",
             "_id": "2",
             "_score": 1,
             "_source": {
                 "id": 2,
                 "name": "Bob",
                 "age": 25
             }
         },
         {
             "_index": "view_json_flatten",
             "_id": "1",
             "_score": 1,
             "_source": {
                 "id": 1,
                 "name": "Alice",
                 "age": 30
             }
         }
     ]
   }

搜尋路由欄位設定

通過routing-fields參數，可以指定PolarSearch索引的路由欄位。路由欄位的值將用於確定文檔儲存在哪個分區中，最佳化特定欄位的查詢效能。多個欄位之間用英文分號;分隔。

資料準備

CREATE DATABASE IF NOT EXISTS db4;
USE db4;
CREATE TABLE IF NOT EXISTS t1 (
    id INT PRIMARY KEY,
    c1 VARCHAR(100),
    c2 VARCHAR(100)
);
INSERT INTO t1(id, c1, c2) VALUES
(1, 'apple', 'red'),
(2, 'banana', 'yellow'),
(3, 'grape', 'purple');

樣本

以c1欄位作為路由欄位建立搜尋視圖：

SET esl_sink_options = "'routing-fields' = 'c1'";
CREATE SEARCH VIEW view_routing AS SELECT * FROM db4.t1;

忽略刪除

在多表匯聚情境中，搜尋視圖對PolarSearch索引的更新模式為先刪除後插入。如果您不希望在查詢時訪問到被刪除資料的中間狀態，可以通過ignore-delete參數設定為true來忽略刪除操作。

樣本

SET esl_sink_options = "'ignore-delete' = 'true'";
CREATE SEARCH VIEW view_no_delete AS SELECT t1.id, t1.c1, t2.c2 FROM db3.t1 AS t1 JOIN db2.t2 AS t2 ON t1.id = t2.id;

替換寫入模式

預設情況下，搜尋視圖使用更新模式（Update）向PolarSearch寫入資料，即僅更新變更的欄位。如果您希望使用替換模式（Index），即每次寫入都替換整個文檔，可以通過sink.force-index-request參數設定為true。

兩種模式對比

樣本

SET esl_sink_options = "'sink.force-index-request' = 'true'";
CREATE SEARCH VIEW view_replace AS SELECT * FROM db3.t1;