Lindorm：分區索引

前提條件

• 已開通搜尋索引。

• 已通過Lindorm-cli串連寬表引擎。

使用情境

Lindorm搜尋索引提供HASH分區和時間分區兩種分區策略，您可以根據以下說明中匹配的業務情境選擇合適的分區策略：

• HASH分區

  • 查詢分區裁剪：當業務查詢條件中始終包含某一列的等值查詢時，可以考慮對該列進行HASH分區，以確保相同的值始終落入同一組分區。在查詢過程中，可以實施分區裁剪，僅檢索包含查詢值的特定分區。例如對於裝置表，若查詢條件總是帶有裝置ID，則可以將裝置ID列設定為HASH分區鍵。

  • 分區儲存均衡：HASH分區鍵的選取同時也要考慮到資料分布，如果業務選取的一級分區鍵存在熱點，則可以結合多級HASH分區特性，在一級分區的基礎上將資料更加均勻地散列在幾個分區內。

• 時間分區

  • 查詢分區裁剪：業務資料具有時間屬性，比如車連網資料、訂單詳情、訊息日誌等，且在查詢的時候經常會使用時間範圍，例如查詢近7天、近一個月的訂單資料，可以使用時間分區特性，根據查詢時間範圍縮小查詢涉及的分區範圍。

  • 單分區儲存上限控制：如果單個索引或分區儲存的資料量過多，一旦資料量增長達到單分區極限，會影響寫入及查詢效能。如果業務索引資料量會一直快速增長，建議結合時間分區策略，控制單個分區內的資料量。

準備工作

CREATE TABLE IF NOT EXISTS search_table (user_id BIGINT, storeId VARCHAR, goodsId VARCHAR, goodsPrice SMALLINT, orderTime BIGINT, info VARCHAR, PRIMARY KEY (user_id asc));

HASH分區

Lindorm搜尋索引最多支援三級分區，HASH分區建立後不可改變。HASH分區的文法樣本如下：

時間分區

對於時間序列資料如訂單資料、訊息日誌等，可以指定時間列，按照時間範圍分區。例如按照周或者月進行分區，同一時間範圍內的資料將會聚集儲存，並且可以自動淘汰舊分區的資料。

• 建立索引，按照業務的時間列orderTime分區。RANGE_TIME_PARTITION_START='30'表示從30天前開始建立分區，RANGE_TIME_PARTITION_INTERVAL='7'表示每7天自動分區，RANGE_TIME_PARTITION_TTL='90'表示預設保留90天的分區資料，即90天以前的資料會被自動清理。

  CREATE INDEX idx USING SEARCH ON search_table (storeId, goodsId, goodsPrice, orderTime)
  PARTITION BY RANGE time(orderTime) partitions 4
  WITH (
    indexState=ACTIVE, 
    RANGE_TIME_PARTITION_START='30',
    RANGE_TIME_PARTITION_INTERVAL='7',
    RANGE_TIME_PARTITION_TTL='90'
  );

  重要

  RANGE_TIME_PARTITION_START參數用於控制分區起始的時間，表示從多少天前開始建立分區。

  假設orderTime的最早日期為2021年3月16日，如果業務表需要持續保留，您需要計算從2021年3月16日至建立索引當天間隔的天數，並將其設定為RANGE_TIME_PARTITION_START參數的值。起始時間設定後，若後續新增的orderTime資料小於該值，則新增的記錄會被忽略。

• 建立索引，按照業務的時間列orderTime分區，從半年前開始，每1個月自動分區，預設保留半年的分區資料，分區欄位單位設定為秒（s）。

  CREATE INDEX idx USING SEARCH ON search_table (storeId, goodsId, goodsPrice, orderTime)
  partition by range time(orderTime) partitions 4 
  with (
    indexState=ACTIVE,
    RANGE_TIME_PARTITION_START='180',
    RANGE_TIME_PARTITION_INTERVAL='30',
    RANGE_TIME_PARTITION_TTL='180',
    RANGE_TIME_PARTITION_FIELD_TIMEUNIT='s'
  );

按照時間範圍分區的參數說明如下表：