阿里雲流儲存 Apache Fluss 版是基於 Apache Fluss 打造的高效能列式流儲存系統，具備毫秒級讀寫響應、即時資料更新及部分欄位更新能力。同時Fluss 提供 CDC（變更資料擷取）日誌訂閱功能，保障全量與增量資料的一致性讀取，滿足即時資料消費情境需求。
前置概念
閱讀本文前，可以按需瞭解基礎概念：
什麼是Apache Fluss？
什麼是Apache Paimon？
產品概述
阿里雲流儲存 Apache Fluss 版的“湖流一體”架構，實現與Apache Paimon等資料湖格式的無縫對接，在確保資料高時效性的基礎上，顯著降低即時數倉的構建與營運成本。通過統一的資料流與湖倉協同機制，Fluss助力企業打破資料孤島，加速湖上資料價值的深度挖掘與高效共用。
能力特點 | 說明 |
毫秒級流讀流寫 | Fluss 支援低延遲的流式讀寫能力，結合 Apache Flink 可構建高吞吐、低延遲的即時數倉，適用於各類即時資料處理情境。 |
流式查詢下推 | Fluss 底層採用Apache Arrow列存格式，支援列裁剪、分區下推、條件下推、彙總下推等查詢加速能力，顯著降低 I/O 開銷，查詢效能提升可達 10 倍。 |
CDC日誌訂閱與全增量一致性 | Fluss 內建變更資料擷取（CDC）機制，支援 Binlog 即時訂閱，保障全量與增量資料的一致性讀取。在即時數倉中可實現去重更新、分層治理與端到端低延遲的資料加工。 |
部分列更新 | Fluss 支援主鍵粒度的部分列更新，實現多流資料的即時拼接，避免傳統雙流 Join 的大狀態問題。即使在 Partial Update 情境下，仍可產生完整 Binlog，確保全鏈路即時化。 |
Delta Join | 基於 Fluss 的流讀能力和索引點查能力，構建的 Delta Join 方案可替代傳統雙流 Join，顯著降低記憶體和 CPU 使用率。實測生產環境下，Flink 記憶體與 CPU 限定下降超 86%，Checkpoint 耗時從 90s 縮短至 1s。 |
二級索引與 KV 點查 | Fluss 支援二級索引構建，提供高效的 Key-Value 點查能力，使用者可直接對 DWD/DWS 層資料進行排查與驗證，無需匯出至其他系統。 |
冷熱資料分層與湖流一體化 | Fluss 支援冷熱資料自動階層式存放區，兼顧效能與成本。同時無縫對接 Apache Paimon 等湖格式，實現湖流資料統一管理與共用，提升即時數倉性價比。 |
產品架構
1. 湖流一體架構
特點：
以資料湖為底層儲存，實現歷史資料的低成本持久化，同時依託湖生態提供高效的批式查詢與分析能力。
內建流式入湖能力，支援流資料即時寫入並立即可見，無需依賴外部資料整合工具。
支援資料在流儲存與資料湖之間的智能分層管理，查詢與消費時自動合并多層資料，提供統一訪問視圖。
採用開源開放架構，相容主流湖格式（如 DLF、Paimon、Iceberg、Lance）和查詢引擎（如 Flink、Spark、StarRocks），支援靈活擴充。
優勢：
流批一體架構 ：統一支援流處理與批處理，降低系統架構複雜度與營運成本。
資料統一儲存 ：流與湖共用同一份資料副本，避免重複儲存，顯著降低總體儲存成本。
統一資料治理 ：提供統一的許可權控制與中繼資料管理，簡化資料治理流程，保障資料安全與一致性。
2. 分布式叢集架構
結構：
每個 Fluss Cluster 包含一個 Coordinator 和多個 TabletServer 節點。
Coordinator 負責中繼資料管理、任務調度和全域協調。
TabletServer 節點負責實際的資料存放區、計算和查詢執行。
優勢：
高可用性：通過多副本備份機制和分布式節點設計，確保資料的高可靠性和高可用性。
可擴充性：支援按需增加 TabletServer 或叢集，滿足業務增長需求。
冷儲存層用於長期歸檔，減少熱資料儲存成本。
3. 強大的多能力支撐
核心能力
湖流一體
實現資料湖與流處理的深度融合，支援即時資料處理和歷史資料分析。
流式查詢下推
將列裁剪、分區裁剪等查詢邏輯下推到 TabletServer 層執行，減少資料轉送，提升流式查詢效能。
Delta Join
支援流式資料與待用資料的高效關聯分析，適用於即時推薦、使用者畫像等情境。
即時更新與點查
支援百萬級QPS即時更新、部分列更新、維表點查，支援即時產生 CDC 變更日誌，無縫整合 Flink 構建全鏈路即時數倉。
基礎能力
監控警示
即時監控系統運行狀態，提供警示機制，確保問題及時發現和處理。
庫表管理
支援對資料庫和表的建立、修改、刪除等操作，方便資料管理和許可權控制。
同城容災
提供同城備份和容災能力，確保資料安全性和商務持續性。
自動升級
支援線上升級，減少停機時間，保障服務的持續可用性。
產品優勢
流批一體秒級湖倉方案
Fluss 的設計理念旨在協助企業解決即時資料處理中的痛點，提升資料價值挖掘效率，具體體現在以下方面：
即時性與低延遲
Fluss 支援毫秒級讀寫，結合 Flink 等流式計算引擎，構建高吞吐、低延遲的即時數倉，滿足金融交易、電商推薦等對時效性要求極高的情境。
成本最佳化
冷熱階層式存放區策略顯著降低儲存成本，同時湖流一體架構減少了資料冗餘與重複計算，整體 TCO 最優。
資料分析效率提升
查詢下推、Delta Join 等技術大幅提高查詢效能，縮短資料加工鏈路，加速業務洞察。
資料治理與安全性
統一的資料管理平台，支援多租戶隔離、許可權管控與Action Trail，確保資料安全合規。
靈活擴充性
支援按需Auto Scaling，輕鬆應對業務高峰期或突發流量，無需擔心資源瓶頸。