本文將介紹如何根據業務需求評估並規劃流儲存 Fluss 叢集的資源規模。
資源評估
選擇CU規格
Fluss 公用雲端採用標準化的計算單元(CU),記憶體配比固定為 1核:4GB。請依據業務規模與關聯的 Flink 資源量選擇規格。
|
CU規格 |
配置詳情 |
適用情境 |
|
4CU |
4核/16GB |
入門/開發: 小規模測試或開發環境。 低吞吐生產: 資料流量較小的生產業務。 配套 Flink: 資源規模 < 200 CU。 |
|
8CU |
8核/32GB |
通用推薦: 兼顧效能與靈活性的標準規格。 中等規模生產: 承載主流業務流量。 配套 Flink: 資源規模在 200 CU ~ 1000 CU 之間。 |
|
16CU |
16核/64GB |
高效能/大儲存: 極高吞吐或需要更大單機儲存上限的情境。 超大規模生產: 核心關鍵業務鏈路。 配套 Flink: 資源規模 > 1000 CU。 |
計算 Tablet Server 數量
叢集規模取決於總輸送量需求。請使用以下公式估算所需的 CU 總數,進而推導節點數量:
關鍵計量說明:
-
輸送量單位: 建議統一轉換為 行數/秒 (Rows/s) 或 資料量/秒 (MB/s)。
-
單 CU 效能基準:
-
寫入能力: 約 2.5萬 ~ 3萬 行/秒 (23 ~ 28 MB/s)。
受資料複雜度和主鍵更新邏輯影響。
-
讀取能力: 約 2.8萬 ~ 3萬 行/秒 (26 ~ 28 MB/s)。
受列數裁剪和查詢過濾條件影響。
-
-
冗餘水位(推薦): 建議預留 20% ~ 30% 的資源餘量,以確保叢集在流量突發高峰時的穩定性。
計算樣本:
若計算結果為 64 CU,且您選擇了 8 CU 的規格,則需要部署 8 個 Tablet Server 節點。
本機存放區規劃
本機存放區的消耗與表類型(日誌表或主鍵表)密切相關。
-
配置建議: 初始階段建議使用預設配置。
-
擴縮容規則: 支援根據業務增長單獨擴容磁碟,或通過增加節點來橫向擴充儲存容量。
-
重要限制: 磁碟支援擴容,但不支援縮容。 請在規劃時避免過度預配。
典型情境配置參考
|
情境類型 |
寫入吞吐 |
讀取吞吐 |
表類型 |
列數 |
總 CU 需求 |
節點配置建議 |
|
低吞吐串流 |
25萬 行/s |
25萬 行/s |
日誌表 |
20 |
12 CU |
3 × 4 CU |
|
中等吞吐即時分析 |
50萬 行/s |
70萬 行/s |
主鍵表 |
50 |
32 CU |
4 × 8 CU |
|
高吞吐即時數倉 |
220萬 行/s |
250萬 行/s |
主鍵表 |
100 |
128 CU |
8 × 16 CU |
|
超大規模串流 |
500萬 行/s |
500萬 行/s |
日誌表 |
30 |
256 CU |
16 × 16 CU |
|
維度資料表查詢服務 |
20萬 行/s |
30萬 QPS |
主鍵表 |
30 |
12 CU |
3 × 4 CU |
常見問題
Q:使用 "10個 8CU 節點" 和 "5個 16CU 節點" ,叢集上都是80CU有什麼區別?
A: 兩者在計算總效能上基本一致,主要區別在於儲存上限與營運靈活性:
-
儲存上限不同: 單個節點的本地磁碟通常有最大容量限制(例如 2TB)。16CU 節點的數量較少,會導致叢集整體的磁碟總容量上限低於 8CU 節點叢集。如果您的業務資料量巨大,更多的節點數量通常意味著更大的總儲存空間。
-
擴縮容粒度不同: 8CU 規格的粒度更細。在進行擴縮容操作時,8CU 節點允許您以更小的資源步長進行調整,資源調度和成本控制更加靈活。