OpenSearch：索引結構

索引表結構介紹

每個Document都是由多個field組成，每個field中包含一系列的詞語，構建索引的目的是為了加快檢索的速度，根據映射關係方向的不同，索引可以分為：

• 欄位（field）：用於定義索引表的欄位名及欄位類型。

• 倒排索引（index）：倒排索引儲存了從單詞到DocID的映射關係，形如：詞：(Doc1,Doc2,...,DocN)，倒排索引主要用在檢索中，它能快速的定位使用者查詢到關鍵字對應的Document。

• 正排索引（attribute）：正排索引儲存從DocID到field的映射關係，形如：DocID-->(term1,term2,...termn)，正排索引分單值和多值兩種，單值attribute由於長度是固定的（不包括string類型），因此尋找效率高，而且可以支援更新。多值attribute表示某個field中有多個資料（數量不固定），由於長度不確定，因此尋找效率相較於單值更慢，而且不能支援更新。

  正排索引主要是在查詢到了某個Document後，根據docid值能快速擷取到其attribute用來統計、排序、過濾中。目前引擎支援的正排欄位基本類型包括：

  INT8（8位有符號數字類型）, UINT8（8位無符號數字類型）,

  INT16（16位有符號數字類型）,

  UINT16（16位無符號數字類型）,

  INTEGER（32位有符號數字類型）,

  UINT32（32位無符號數字類型）, INT64（64位有符號數字類型）,

  UINT64（64位無符號數字類型）,

  FLOAT（32位浮點數）,

  DOUBLE（64位浮點數）,

  STRING（字串類型）

• 摘要（summary）：summary的儲存形式與attribute類似，但是summary是將一個Document對應的多個field儲存在一起，並且建立映射，所以能很快從docid定位到對應的summary內容。summary主要是用於結果的展示，一般而言summary的內容都比較大，對於每次查詢而言不適合取過多的summary，只有最終需要展示結果的Document會取到對應的summary。由於summary過大，引擎在儲存summary時提供壓縮的機制，在schema中配置summary壓縮，那麼引擎在儲存時會用zlib壓縮後再儲存，讀取時引擎會先解壓，再返回給使用者。

索引schema樣本：

{
  "file_compress": [
    {
      "name": "file_compressor",
      "type": "zstd"
    },
    {
      "name": "no_compressor",
      "type": ""
    }
  ],
  "table_name": "test",
  "summarys": {
    "summary_fields": [
      "id",
      "fb_boolean",
      "fb_datetime",
      "fb_string",
      "fb_decimal",
      "fb_bigint",
      "fb_text"
    ],
    "parameter": {
      "file_compressor": "zstd"
    }
  },
  "indexs": [
    {
      "index_name": "id",
      "index_type": "PRIMARYKEY64",
      "index_fields": "id",
      "has_primary_key_attribute": true,
      "is_primary_key_sorted": false
    },
    {
      "index_name": "fb_boolean",
      "index_type": "STRING",
      "index_fields": "fb_boolean",
      "file_compress": "file_compressor",
      "format_version_id": 1
    },
    {
      "index_name": "fb_datetime",
      "index_type": "STRING",
      "index_fields": "fb_datetime",
      "file_compress": "file_compressor",
      "format_version_id": 1
    },
    {
      "index_name": "fb_string",
      "index_type": "STRING",
      "index_fields": "fb_string"
    },
    {
      "index_name": "fb_text",
      "index_type": "TEXT",
      "index_fields": "fb_text"
    }
  ],
  "attributes": [
    {
      "field_name": "id",
      "file_compress": "no_compressor"
    },
    {
      "field_name": "fb_boolean",
      "file_compress": "file_compressor"
    },
    {
      "field_name": "fb_datetime",
      "file_compress": "no_compressor"
    },
    {
      "field_name": "fb_string",
      "file_compress": "file_compressor"
    },
    {
      "field_name": "fb_decimal",
      "file_compress": "no_compressor"
    },
    {
      "field_name": "fb_bigint",
      "file_compress": "no_compressor"
    }
  ],
  "fields": [
    {
      "user_defined_param": {},
      "field_name": "id",
      "field_type": "INT64",
      "compress_type": "equal"
    },
    {
      "field_name": "fb_boolean",
      "field_type": "STRING",
      "compress_type": "uniq"
    },
    {
      "field_name": "fb_datetime",
      "field_type": "STRING",
      "compress_type": "uniq"
    },
    {
      "user_defined_param": {
        "multi_value_sep": ","
      },
      "field_name": "fb_string",
      "field_type": "STRING",
      "compress_type": "equal",
      "multi_value": true
    },
    {
      "field_name": "fb_decimal",
      "field_type": "DOUBLE"
    },
    {
      "field_name": "fb_bigint",
      "field_type": "INT64",
      "compress_type": "equal"
    },
    {
      "field_name": "fb_text",
      "field_type": "TEXT",
      "analyzer": "chn_standard"
    }
  ]
}

添加索引表

1. 在執行個體管理介面，進入配置中心>索引結構頁面，點擊添加索引表：

2. 設定索引表，選擇資料來源，設定資料分區：

3. 欄位設定：

多重值欄位分隔設定：

預設為ha3分隔字元^] ，使用者也可根據業務需求自訂分隔字元。

屬性和欄位內容壓縮：

• 屬性欄位可以選擇是否壓縮，預設為不壓縮，選擇file_compressor表示開啟壓縮

• 欄位內容可以選擇是否壓縮，預設為不壓縮，預設多值和STRING類型選擇uniq，單值數實值型別是equal

4. 索引設定：

索引欄位設定壓縮：

• 索引欄位可以選擇是否壓縮，預設為不壓縮，選擇file_compressor表示開啟壓縮

5. 配置完成後，點擊儲存版本，並在彈框後填寫備忘（可選），點擊發布：

6. 索引表添加成功後，可在營運中心>部署管理中查看新加的索引表的拓撲：

7. 若需要新加的索引表在叢集中生效，需要在營運中心>營運管理中手動觸發配置更新並全量，“配置更新”操作中執行“推送配置並觸發索引重建”：

8. 索引重建時，可以在營運中心>變更歷史中的資料來源變更中查看全量進度：

索引重建完成後，即可對新索引表進行查詢。

編輯索引表

索引表版本介紹：

新建立的索引表預設有2個版本：

• index_config_v1：初次配置的索引表版本，若已推送配置並索引重建，狀態變為“使用中”，若未推送配置並索引重建，狀態則為“未使用”；

• index_config_edit：正在編輯中的索引表版本，狀態一直為“編輯中”；

隨著索引表版本的連續發布版本名稱會依次遞增，比如第二個版本名為“index_config_v2”，第三個版本名為“index_config_v3”依次類推，為明顯區分各個版本，每個版本的備忘是必須填寫的。

編輯並發布新的索引表版本：

1. 找到版本狀態為“編輯中”的版本，點擊編輯：

2. 修改後，點擊儲存版本：

也可以切換到開發人員模式手動編輯schema：

3. 找到版本狀態為“編輯中”的版本，點擊發布，並填寫備忘，點擊確定：

此時系統會為該索引表產生一個新的索引表版本，版本狀態為“未使用”。

4. 若需要將新添加的索引表版本在叢集中生效，則需要在營運中心>營運管理>更新配置中執行推送配置並觸發索引重建：

刪除索引表版本：

狀態為“未使用”的索引表版本可以直接刪除：

查看索引表版本：

點擊“查看”後，可跳轉到索引表版本的唯讀配置介面：

• 管理員模式：

• 開發人員模式：

刪除索引表

若索引表中的索引表版本沒有“使用中”的狀態，可以直接刪除索引表：

若索引表中的索引表版本有“使用中”的狀態：

則需要按如下步驟操作，才可刪除：

1. 在營運管理>部署管理中，點擊索引表，‘取消訂閱’，如圖：

   

2. 然後在配置中心--->索引結構中，刪除對應的索引表：

   

注意事項

• 添加索引表時，資料來源為必選項，若無資料來源，則需要先添加資料來源再添加索引表；

• 索引表名稱建立後不可修改；

• 索引表中如有“使用中”的索引表版本，則無法直接刪除索引表；

• 每個索引表只能存在一個編輯中的索引表版本;