湖流一體是一種融合資料湖與即時資料流的新型資料架構理念。
湖流一體
傳統湖倉與流處理的痛點
儲存孤島：系統無法通過單一儲存層同時滿足即時性與低成本的需求。
架構複雜：Lambda 架構迫使Team Dev維護兩套完全獨立的系統。
儲存冗餘：資料在不同系統間重複儲存，導致儲存資源與計算資源的雙重消耗。
查詢割裂：無法獲得統一的資料檢視，不同的計算引擎和處理邏輯，極易產生資料語義歧義。
湖流一體的核心理念與價值
湖流一體是一種融合資料湖與即時資料流的新型資料架構理念，旨在打破傳統批處理與流處理的邊界，實現統一儲存、統一中繼資料、統一訪問下的即時與離線一體化資料處理。常用於解決資料湖資料時效性問題（如分鐘級延遲提升至毫秒級），以及解決資料流 OLAP 分析的能力。
它通過將即時資料流式儲存（Fluss）與基於 Paimon 的資料湖（由 DLF 統一管理中繼資料）進行深度整合，實現“一份資料，兩種視圖”，即在同一個邏輯表中，同時提供低延遲的即時資料訪問和高吞吐的歷史資料分析能力。
核心原理
自動同步：Fluss 叢集開啟該功能後，系統自動建立 Flink 同步作業，將 Fluss 中的即時事件流持續寫入至 Paimon 表。
聯合讀取 (Union Read)：Flink 查詢引擎支援對同一張表發起查詢時，自動合并來自 Fluss 的即時自 Paimon 的歷史資料，按主鍵進行去重，對外呈現為一張完整、一致、最新的表。
中繼資料統一：DLF 作為統一中繼資料服務，管理 Paimon 表的表結構、分區、許可權等資訊，確保資料可被多種計算引擎（如 Flink, Spark, Presto）無縫訪問。
資料共用：Fluss 與 Paimon 協同構建流批一體儲存架構，Fluss 作為即時資料層，提供毫秒級延遲的熱資料寫入與訪問能力；Paimon 作為歷史資料層，承載長周期、高性價比的歷史資料存放區。兩者資料相互共用，避免重複資料存放區。
關鍵能力
降低架構複雜度：消除傳統“流批分離”帶來的雙鏈路開發、雙份儲存、雙重營運成本。
保障資料一致性：通過統一的資料模型和計算引擎，確保即時與離線分析結果的一致性。
簡化營運：提供端到端的監控面板，包含同步延遲、作業狀態、健康分等指標，並整合一鍵啟停、警示設定等營運入口。
提升敏捷性：開發人員無需關心底層資料物理位置，僅需關注商務邏輯，即可快速構建即時數倉、即時報表、AI 特徵工程等情境。