Realtime Compute for Apache Flink：資料分區

分區表（Partitioned Tables）

在 Fluss 中，分區表根據一個或多個分區鍵（partition keys）來組織資料，為大型資料集的查詢效能提升和可管理性提供了一種有效方式。通過分區，系統可以將資料劃分為不同的片段，每個片段對應特定的分區索引值。

對於分區表，Fluss 支援以下三種分區管理原則：

• 手動管理分區：使用者可以手動建立新分區或刪除已有分區。如需瞭解如何建立或刪除分區，請參見管理分區。

• 自動管理分區：分區會根據建表時配置的自動分區規則自動產生，到期的分區也會被自動清理，確保資料不會無限增長。詳見自動分區。

• 動態建立分區：分區會根據寫入表中的資料動態建立。詳見動態分區。

這三種策略是正交的，可以在同一張表上共存。

多欄位分區表（Multi-Field Partitioned Tables）

分區表（無論是主鍵表還是日誌表），都支援基於多個欄位配置分區鍵。這種方式允許使用者通過欄位值的組合來劃分資料，從而實現更細粒度的資料群組織、管理和查詢最佳化。

例如，在一個訂單（Order）主鍵表中，可以將分區鍵定義為 (date, region)。資料將會儲存在與具體組合對應的分區中，如 date=2025-04-05, region=US。在流式查詢中，使用者可以通過對資料進行過濾（如 region=US）來利用分區裁剪（partition pruning），通過分區下推（partition pushdown）提升讀取效能。

分區表的主要優勢

• 提升查詢效能：通過限制查詢範圍到特定分區，系統讀取的資料量減少，從而降低了查詢執行時間。

• 資料群組織更清晰：分區協助從邏輯上組織資料，使其更容易管理和查詢。

• 更好的擴充性：將巨量資料集劃分為更小、更易管理的塊，提升了系統的可擴充性。

限制條件

• 分區鍵的類型必須為 STRING 類型。

• 對於自動分區表，分區鍵可以是一個或多個欄位。如果表只有一個分區鍵，則支援自動建立分區和自動到期清理；如果有多個分區鍵，則僅支援自動到期清理。

• 如果該表為主鍵表，分區鍵必須是主鍵的一個子集。

• 自動分區規則只能在建立分區表時配置，不支援在建表後修改自動分區規則。

自動分區

CREATE TABLE site_access(
  event_day STRING,  --分區鍵
  site_id INT,       --網站ID  
  city_code STRING,  --城市編號  
  user_name STRING,  --使用者名稱 
  pv BIGINT,         --頁面訪問次數 
  PRIMARY KEY(event_day, site_id) NOT ENFORCED 
) PARTITIONED BY (event_day) WITH (
  'table.auto-partition.enabled' = 'true',            --啟用自動分區 
  'table.auto-partition.time-unit' = 'YEAR',          --時間粒紋為年 
  'table.auto-partition.num-precreate' = '5',         --預建立5個分區 
  'table.auto-partition.num-retention' = '2',         --保留兩個歷史分區 
  'table.auto-partition.time-zone' = 'Asia/Shanghai'  --時區為上海 
);

動態分區

動態分區是用戶端預設啟用的功能，允許用戶端根據寫入表的資料自動建立分區。當分區集事先未知時，此功能尤其有價值，無需手動建立分區。在處理多欄位分區時，此功能也特別有用，因為自動分區目前僅支援單欄位分區建立。

用戶端選項

動態分區建立樣本

步驟一：建立樣本表

在左側導覽列，資料開發 > 資料查詢中，建立空白的資料查詢指令碼，輸入以下SQL建立一張以dt列為分區鍵的分區表。

CREATE TABLE IF NOT EXISTS `fluss-demo`.fluss.table_enable_dynamic_partition
(
    id    BIGINT
    ,name STRING
    ,dt   STRING
)
PARTITIONED BY (dt)
WITH (
    'client.writer.dynamic-create-partition.enabled' = 'true'
)
;

驗證表當前的分區

SHOW PARTITIONS `fluss-demo`.fluss.table_enable_dynamic_partition;

查詢結果表明表的分區列表為空白。

步驟二：動態插入資料

運行下列SQL，向不存在的分區插入資料。

INSERT INTO `fluss-demo`.fluss.table_enable_dynamic_partition values(1, 'hello', '20250701');

步驟三：驗證分區被動態建立

再次執行SHOW PARTITIONS命令驗證分區已經被動態建立。

查詢結果顯示 partition name 列中包含一條記錄 dt=20250701，說明分區已被動態建立。