本文介紹 StarRocks 緩衝管理功能的整體架構和各緩衝類型的適用情境,協助您根據業務需求選擇合適的緩衝方案。
功能介紹
StarRocks 提供多種緩衝機制,通過將熱點資料緩衝至本地 BE/CN 節點的記憶體或磁碟,減少對遠端儲存(HDFS、Object Storage Service等)的重複訪問,從而顯著提升查詢效能。
緩衝類型
緩衝類型 | 適用情境 | 預設狀態 | 最低版本 |
存算分離 Data Cache | 存算分離(Serverless)執行個體內表查詢加速 | 預設開啟 | v3.1.7 / v3.2.3 |
資料湖 Data Cache | External Catalog 外表查詢加速(Hive、Iceberg、Hudi 等) | v3.3.0 起預設開啟 | v2.5 |
Index Cache | 存算分離執行個體索引緩衝,適用於磁碟容量不足以全量快取資料的情境 | 預設開啟 | v3.3.13 |
說明
自 v3.4.0 版本起,StarRocks 存算分離內表和資料湖查詢共用同一個 Data Cache 執行個體,無需分別配置。
緩衝選型建議
存算分離執行個體:使用存算分離 Data Cache,自動按需從遠端儲存載入資料至本機快取,無需額外配置。
資料湖外表:使用資料湖 Data Cache,支援 Parquet、ORC 等格式的遠端檔案快取,適合 Ad-hoc 分析、報表查詢等重複掃描大表的情境。
磁碟容量不足,無法全量快取資料:開啟 Index Cache,僅緩衝索引,以較低磁碟開銷顯著提升查詢效能。
積極式載入熱點資料:使用 Data Cache 預熱(
CACHE SELECT),提前將指定資料載入緩衝,避免冷啟動對查詢效能的影響。