隨著資料持續寫入,執行個體會積累大量小檔案和到期快照,導致查詢效能下降和儲存空間浪費。湖儲存最佳化通過自動合并小檔案、清理廢棄檔案(orphan files)和管理快照生命週期,持續維護儲存布局的最優狀態。
該功能當前為邀測階段,如需使用,請提交工單申請開通。
適用範圍
|
條件 |
要求 |
|
版本 |
企業版。 |
|
資料庫類型 |
僅支援AnalyticDB for MySQL湖儲存中的庫表。 |
|
可見度 |
僅資料目錄中可見的資料庫支援配置。 |
三級繼承架構
配置沿執行個體 > 庫 > 表逐級傳遞,下級預設繼承上級配置,也可自訂覆蓋。
執行個體級配置(全域預設值)
├── 庫 A(繼承執行個體配置)
│ ├── 表 1(繼承庫 A 配置)
│ └── 表 2(自訂:合并頻率 = high)
└── 庫 B(自訂:關閉湖儲存最佳化)
└── 表 3(繼承庫 B → 已關閉)
|
策略 |
行為 |
適用情境 |
|
繼承 |
自動跟隨上級配置變更。 |
大多數庫和表,統一管理。 |
|
自訂 |
獨立配置,不受上級影響。 |
有特殊效能要求或需關閉最佳化的對象。 |
配置優先順序:表級 > 庫級 > 執行個體級。選擇自定義後,該級及其下級不再受上級變更影響。
關閉執行個體級啟用湖儲存優化開關後,所有庫級和表級配置失效,整個執行個體停止最佳化。已配置的參數不會丟失,重新開啟後自動回復。
配置入口
在執行個體詳情頁左側導航中,選擇。
|
層級 |
入口 |
|
執行個體級 |
庫列表上方的湖存儲優化地區,單擊編輯。 |
|
庫級 |
單擊目標資料庫,選擇湖存儲優化標籤頁。 |
|
表級 |
單擊目標表,選擇湖存儲優化標籤頁。 |
參數總覽
|
配置項 |
說明 |
可選值 |
預設值 |
執行個體級 |
庫級 |
表級 |
|
啟用湖儲存優化 |
執行個體總開關 |
開啟 / 關閉 |
關閉 |
✓ |
— |
— |
|
策略 |
繼承上級或自訂 |
繼承 / 自訂 |
繼承 |
— |
✓ |
✓ |
|
狀態 |
當前層級開關 |
開啟 / 關閉 |
— |
— |
✓ |
✓ |
|
資源組 |
執行最佳化任務的計算資源 |
已有資源群組 |
— |
✓ |
✓ |
✓ |
|
小檔案合併頻率 |
合并小檔案的頻率 |
low / normal / high |
normal |
✓ |
✓ |
✓ |
|
快照保留時間 |
歷史快照保留時間長度 |
1~7 天 |
7 天 |
✓ |
✓ |
✓ |
|
廢棄文件保留時間 |
廢棄檔案保留時間長度 |
3 / 5 / 7 / 10 / 14 天 |
3 天 |
✓ |
✓ |
✓ |
執行個體級開關關閉時僅顯示開關欄位,開啟後顯示全部配置項。庫級和表級選擇自訂並開啟狀態後,顯示全部參數。
小檔案合并頻率
小檔案合并(compaction)將多個小資料檔案合并為更大的檔案,減少檔案數量,提升查詢效率。
|
層級 |
適用情境 |
|
low |
寫入量小、資料變更不頻繁的冷資料表 |
|
normal(預設) |
一般業務情境 |
|
high |
高頻寫入、頻繁查詢的熱資料表 |
更高的合并頻率消耗更多計算資源,建議為最佳化任務指定專用資源組,避免與查詢任務爭用 I/O。
快照保留時間
快照記錄表在某一時刻的完整狀態,用於資料回溯和 Time Travel 查詢。過多快照會佔用額外儲存空間和中繼資料管理開銷。預設保留 7 天,最短 1 天。
廢棄檔案保留時間
廢棄檔案(orphan files)是資料寫入、更新或合并過程中產生的、不再被任何有效快照引用的資料檔案。超過保留時間後自動清理以釋放儲存空間。
縮短保留時間可節省儲存空間,但可能影響正在執行的長時間查詢。最短 3 天。
執行歷史
在表級湖存儲優化標籤頁中可查看合并任務的執行歷史,包括讀取資料檔案數、添加資料檔案數、讀取位元組數、失敗資料檔案數、執行開始時間和狀態。
情境化配置建議
|
情境 |
推薦配置 |
原因 |
|
高頻寫入分析表 |
合并頻率 = high,廢棄檔案保留 = 3 天 |
快速消除小檔案,保持查詢效能 |
|
低頻訪問歸檔表 |
合并頻率 = low,廢棄檔案保留 = 14 天 |
降低資源消耗,延長資料恢複視窗 |
|
混合負載資料庫 |
庫級繼承,熱表自訂 high,冷表自訂 low |
按表粒度差異化管理 |
|
開發測試環境 |
執行個體級關閉湖儲存最佳化 |
節省計算資源 |